Java poi Excel导出文件,Java poi 分批次导出大批量数据
================================
©Copyright 蕃薯耀 2018年6月26日
http://fanshuyao.iteye.com/
一、问题描述:
1、当使用WorkbookFactory.create 创建Excel时,其实创建的文档为Excel2003版的,最大容纳65536行数据,超出这个行数就是发生溢出。
WorkbookFactory.create(...);
2、当数据量时,直接从数据库查询出来,内存不够也会溢出。
二、解决方案:
1、解决Excel2003行数溢出,使用XSSFWorkbook对象创建2007版的Excel,能容纳104万行数据。
具体如下:
Excel2003版最大行数是65536,Excel2007最大行数是1048576
Excel2003版最大列数是256,Excel2007最大列数是16384
XSSFWorkbook xSSFWorkbook = new XSSFWorkbook(new FileInputStream(excelTemplatePath));//使用模板文件
2、直接从数据库查询大批量数据导致内存溢出,可以使用分批次的方式查询数据,避免内存一下子暴掉。如要导出数据库100万条数据,每次取1万条,这样分100次取,每次取的数量自己可以定义,保证内存不溢出。
具体例子和代码:
/** * 导出excel文件 * @param request * @param response * @throws Exception */ public void exportPlaceNameQueryExcelFile(HttpServletRequest request,HttpServletResponse response){ Map<String, Object> map = new HashMap<String, Object>();; FileOutputStream fileOutputStream = null; try { Row row = parseRequestParametersToRow(request); String projectPath = getRealPath(request); String excelTemplatePath = projectPath + File.separator + "template" + File.separator + "name" + File.separator + "exportPlaceNameQueryExcelFile.xlsx"; File excelTemplateFile = new File(excelTemplatePath);//模板文件 File destFile = this.createDestExcelFile(request, excelTemplateFile);//目标文件 fileOutputStream = new FileOutputStream(destFile); map.put("absoluteFilePath", destFile.getAbsolutePath()); map.put("fileName", destFile.getName()); int count = getPlaceNameQueryDelegate().getPnPlaceNameCount(row);//获取Excel导出的总数据量,根据数量判断是否进行分批次导出 int pageSize = 1000 * 5;//每次查询的数据量 int startRow = 2;//模板前2行是模板标题,excel行数是从0开始的,除去2行模板标题,此处设置成2 XSSFWorkbook xSSFWorkbook = new XSSFWorkbook(new FileInputStream(excelTemplatePath));//使用模板文件 //Excel2003版最大行数是65536,Excel2007最大行数是1048576 //Excel2003版最大列数是256,Excel2007最大列数是16384 SXSSFWorkbook workbook = new SXSSFWorkbook(xSSFWorkbook, 100);//使用SXSSFWorkbook避免Excel数据超出65536行时报错 //Workbook b = WorkbookFactory.create(destFile);//超出65536行时报错 Sheet sheet = workbook.getSheetAt(0); List<Row> rows = null; if(count > pageSize){//当数量大时,采用分批次获取数据 int page = (count % pageSize == 0) ? (count / pageSize) : (count / pageSize + 1); for(int i=1; i<=page; i++){ row.addColumn("pageNumber", i); row.addColumn("pageSize", pageSize); rows = getPlaceNameQueryDelegate().getAllPlaceNames(row); startRow = this.setSheet(sheet, startRow, rows);//此处要注意回写startRow供下次循环使用 } }else{ rows = getPlaceNameQueryDelegate().getAllPlaceNames(row); startRow = this.setSheet(sheet, startRow, rows); } workbook.write(fileOutputStream); } catch (Exception e) { e.printStackTrace(); }finally{ try { if(fileOutputStream != null){ fileOutputStream.close(); } writeJson(response, JsonUtils.toJson(map)); } catch (Exception e) { e.printStackTrace(); } } }
private File createDestExcelFile(HttpServletRequest request, File excelTemplateFile){ try { String destFileName = UUID.randomUUID().toString(); Properties prop = PropertiesUtils.read("placeName.properties"); String destDir = prop.getProperty("destDirForPlaceNameQuery"); File destFileDir = new File(destDir); if(!destFileDir.exists()){ destFileDir.mkdirs(); } String absoluteFilePath = excelTemplateFile.getAbsolutePath(); String suffix = absoluteFilePath.substring(absoluteFilePath.lastIndexOf(".")); File destFile = new File(destDir + destFileName + suffix); FileUtils.copyFile(excelTemplateFile, destFile); return destFile; } catch (Exception e) { e.printStackTrace(); } return null; }
private void writeToSheet(Sheet sheet, int startRow, int startCell, String value){ org.apache.poi.ss.usermodel.Row poiRow = sheet.getRow(startRow); if(poiRow == null){ poiRow = sheet.createRow(startRow); } Cell cell = poiRow.getCell(startCell); if(cell == null){ cell = poiRow.createCell(startCell); } cell.setCellValue(value); }
/** * 根据Excel对象插入数据后,返回可以插入数据下一行的行数,startRow * @param workbook * @param startRow * @param rows * @return int */ private int setSheet(Sheet sheet, int startRow, List<Row> rows){ if(rows != null && rows.size() > 0){ if(startRow < 0){ startRow = sheet.getLastRowNum(); } for (Row row : rows) { int startCell = 0; this.writeToSheet(sheet, startRow, startCell++, row.getString("pn_code")); this.writeToSheet(sheet, startRow, startCell++, row.getString("standard_name"));//地名(standard_name) this.writeToSheet(sheet, startRow, startCell++, row.getString("pinyin"));//拼音(pinyin) this.writeToSheet(sheet, startRow, startCell++, row.getString("tree_path"));//地名类别(tree_path) String statusText = row.getString("status"); if(statusText.equals("1")){ statusText = "有效"; }else if(statusText.equals("0")){ statusText = "无效"; }else if(statusText.equals("2")){ statusText = "审批中"; } this.writeToSheet(sheet, startRow, startCell++, statusText);//状态(status) //额外属性 String type = row.getString("type"); if(!StringUtils.isBlank(type)){ type = type.trim(); if("建筑物".equals(type)){ //紧接着基础信息,startCell不用加 this.setBuildingProperties(sheet, startRow, startCell, row);//建筑物 }else if("道路".equals(type)){ startCell += 10;//除去建筑物的10个属性 this.setRoadProperties(sheet, startRow, startCell, row); }else if("桥梁".equals(type)){ startCell += 18;//除去建筑物、道路的18个属性 this.setBridgeProperties(sheet, startRow, startCell, row); }else if("公园".equals(type)){ startCell += 28;//除去建筑物、道路、桥梁的28个属性 this.setPartProperties(sheet, startRow, startCell, row); }else if("广场".equals(type)){ startCell += 37;//除去建筑物、道路、桥梁、公园的37个属性 this.setSquareProperties(sheet, startRow, startCell, row); }else if("隧道".equals(type)){ startCell += 46;//除去建筑物、道路、桥梁、公园、广场的46个属性 this.setTunnelProperties(sheet, startRow, startCell, row); } } startRow ++;//最后行号加1,必须有,且在最后 } } return startRow; }
private void setBuildingProperties(Sheet sheet, int startRow, int startCell, Row row){ try { Row dataRow = getPlaceNameQueryDelegate().getBuilding(row); if(dataRow != null){ this.writeToSheet(sheet, startRow, startCell++, dataRow.getString("building_func")); this.writeToSheet(sheet, startRow, startCell++, dataRow.getString("start_date")); …… …… } } catch (Exception e) { e.printStackTrace(); } }
private void setRoadProperties(Sheet sheet, int startRow, int startCell, Row row){ try { Row dataRow = getPlaceNameQueryDelegate().getRoad(row); if(dataRow != null){ this.writeToSheet(sheet, startRow, startCell++, dataRow.getString("starting_point")); …… } } catch (Exception e) { e.printStackTrace(); } }
相关推荐
需要使用JAVA 做EXCEL导出的同学,有问题尽管私信
java_poi实现excel导入导出功能,有详细的注解
Java POI EXCEL导入导出Java POI EXCEL导入导出Java POI EXCEL导入导出Java POI EXCEL导入导出Java POI EXCEL导入导出Java POI EXCEL导入导出Java POI EXCEL导入导出Java POI EXCEL导入导出Java POI EXCEL导入导出...
java实现excel的导入导出(poi详解),经过测试poi效率要比jxl要高很多,特别是数据量大的时候jxl根本无法用肉眼入目,本资源是个可运行项目demo,很有参考价值!
概述:Java poi导入导出EXCEL工具类(兼容各版本) 一、功能说明 允许同时导入或导出多个sheet,同一sheet可同时存在多个数据块,按数据块划分处理数据。 二、配置文件示例及详细说明 1、导入xml配置示例如下(见...
java使用POI导出 Excel+图片工具类 ,里面含有poi jar包,只调用接口即可直接保存Excel。使用的时候需先把数据封装,具体包装需根据实际导出数据进行处理。文件demo中只提供包装格式。
使用apach poi 导出Excel,可直接在项目中使用使用apach poi 导出Excel,可直接在项目中使用使用apach poi 导出Excel,可直接在项目中使用
可以运行的POI导出Excel文件实例,里面有两种方法,一个是Servlet,一个是main
Java Poi 导出excel(支持各种设置字体、颜色、垂直居中)
前几天项目上需要加上导入导出,在网上找了一下,么有...于是自己写,源码里所需要的jar都有,从jsp界面进行Excel的导入导出,并可用于上传和下载。如有所用,喜不自禁,分享,开源的意义。 写的不是特别好,不喜勿喷!
这个是java用poi操作Excel进行导出,并且可以自动换行
java poi导出大量数据到Excel
java导出excel POI jar包 java代码地址http://blog.csdn.net/awenluck/article/details/51488537
JAVA POI导出EXCEL代码
java版实现 poi导出excel文件 保存本地,代码和相关jar包全部有
在java web系统应用中我们经常会用到大批量数据的导出,动辄就上几十万几百万的数据让我们的程序感觉...java中使用poi导出Excel大批量数据到客户端 存在两个导出方法:存在一个分批量导出ZIP文件,一个导出exel文件
文件包含了 1.POI导入导出的工具类; 2.图片URL导出成图片文件; 3.导出excel和图片压缩包格式文件。 如果下载后有任何问题,可以联系我哦!
这是一个Excel表格导入与导出功能,Excel美化,并且添加了进度条,丢上Eclipse直接运行使用,附带测试数据与说明。Java项目使用maven搭建。
里面是完整的java程序,导入可执行,根据数据生成excel文件,http://localhost:8080/poi/export