您的位置:首页 > 教程 > linux > Shell脚本导入导出数据的项目示例

Shell脚本导入导出数据的项目示例

2022-06-20 15:03:39 来源:易采站长站 作者:

Shell脚本导入导出数据的项目示例

目录1.介绍2.导入数据到db23.导出db2数据4.导入数据到mysql5.导出mysql数据6.Java程序调用shell脚本7.遇到的问题1.介绍在工作中,很多场景都会涉及到...DJB站长之家-易采站长站-Easck.Com

目录
1. 介绍
2. 导入数据到db2
3. 导出db2数据
4. 导入数据到mysql
5. 导出mysql数据
6. java程序调用shell脚本
7. 遇到的问题

DJB站长之家-易采站长站-Easck.Com

1. 介绍

在工作中 , 很多场景都会涉及到db数据的导入导出, 为了不影响正常业务, 一般会选择在夜间交易访问量小的时候定时任务跑批进行数据的导入导出. 我们公司, 由于分为了不同区域的开发中心, 应用系统也比较多, 所以业务相互关联的各系统间的数据依赖, 我们是通过数据中台做数据中转的, 比如: A系统要做客户信息的操作但自己没有这部分信息, 客户信息主要是B系统在维护, www.cppcns.com这时候A系统就需要用到B系统的数据.DJB站长之家-易采站长站-Easck.Com

方案就是B系统将客户信息数据资源发布到数据中台, 因为A系统向数据中台订阅了B系统的客户信息资源 , 数据中台会将客户信息资源转发到A系统服务器的指定目录, 最后A系统只需要开发shell脚本将资源文件中的数据导入本地数据库即可.DJB站长之家-易采站长站-Easck.Com

B系统需要A系统的业务数据也是一样的道理, A系统只需要将业务数据资源发布到数据中台,(A系统开发脚本将db数据导出为数据文件发送给数据中台), B系统订阅A系统的资源, 由数据中台做资源的转发.DJB站长之家-易采站长站-Easck.Com

下面主要是总结工作中用到的shell脚本如何实现db数据的导入和导出, 数据中台是一个企业级数据交换服务平台, 这里就不详细赘述了.DJB站长之家-易采站长站-Easck.Com

DJB站长之家-易采站长站-Easck.Com

2. 导入数据到db2

将MY_CUSTOMER_INFO_[DATE].del文件数据导入MY_CUSTOMER_INFO表.DJB站长之家-易采站长站-Easck.Com

在这里插入图片描述DJB站长之家-易采站长站-Easck.Com

DJB站长之家-易采站长站-Easck.Com

3. 导出db2数据

将MY_CUSTOMER_INFO表的数据导出为MY_CUSTOMER_INFO_[DATE].del文件.DJB站长之家-易采站长站-Easck.Com

在这里插入图片描述DJB站长之家-易采站长站-Easck.Com

导出数据也可以使用java程序先查询数据,然后通过IO流写文件.DJB站长之家-易采站长站-Easck.Com

在这里插入图片描述DJB站长之家-易采站长站-Easck.Com

DJB站长之家-易采站长站-Easck.Com

4. 导入数据到mysql

将MY_CUSTOMER_INFO_[DATE].del文件数据导入MY_CUSTOMER_INFO表.DJB站长之家-易采站长站-Easck.Com

在这里插入图片描述DJB站长之家-易采站长站-Easck.Com

导入数据部分, 如果null数据想使用空字符串替换, 可以使用NULLIF函数判断后替换.DJB站长之家-易采站长站-Easck.Com

在这里插入图片描述DJB站长之家-易采站长站-Easck.Com

DJB站长之家-易采站长站-Easck.Com

5. 导出mysql数据

将MY_CUSTOMER_INFO表的数据导出为MY_CUSTOMER_INFO_[DATE].del文件.DJB站长之家-易采站长站-Easck.Com

在这里插入图片描述DJB站长之家-易采站长站-Easck.Com

DJB站长之家-易采站长站-Easck.Com

6. Java程序调用shell脚本

使用java.lang.Runtime类实现shell脚本的调用并执行.DJB站长之家-易采站长站-Easck.Com

在这里插入图片描述DJB站长之家-易采站长站-Easck.Com

DJB站长之家-易采站长站-Easck.Com

7. 遇到的问题

(1) 上面Java程序调用并执行shell脚本, 需要注意服务器系统类型是http://www.cppcns.comlinux还是AIX系统, 不然传入的参数无法接收到.DJB站长之家-易采站长站-Easck.Com

(2) windows环境(\r\n)和linux环境(\r)的换行符不一样, 导致在windows系统编辑的shell脚本在Linux服务器上执行报错, 需要使用vim编辑器将\r\n替换为\r.DJB站长之家-易采站长站-Easck.Com

脚本格式设置, \r\n替换为\r.DJB站长之家-易采站长站-Easck.Com

:set ff=unix

脚本格式设置, \r替换为\r\n.DJB站长之家-易采站长站-Easck.Com

:set ff=dos

到此这篇关于Shell脚本导入导出数据的项目示例的文章就介绍到这了,更多相关Shell导入导出数据内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们!

如有侵权,请联系QQ:279390809 电话:15144810328

相关文章

  • Linux下用GHOST来做系统备份

    Linux下用GHOST来做系统备份

    在Windows系统下备份我们可以用GHOST工具软件完成,Linux系统不能完全依赖于GHOST工具,一则是GHOST本身是有版权的软件,二是GHOST只支持ext2、ext3文件系统的Linux分区,不支持reiserfs、xfs等
    2019-10-25
  • 给 FreeBSD 12.1 安装 GNOME3 图形界面

    给 FreeBSD 12.1 安装 GNOME3 图形界面

    FreeBSD是一个完全开放的、安全的系统,可以Do it yourself的系统。但是个人还是不喜欢呆板的命令行界面,所有就给 FreeBSD 12.1 安装 GNOME3 图形界面。 开始操作,启动FreeBSD 12.1,以root身份
    2019-10-27
  • Ubuntu Studio一个不错的操作系统

    Ubuntu Studio一个不错的操作系统

    Ubuntu Studio 是一个基于 Ubuntu 而面向音频、视频及图形爱好者的操作系统。本次推出的 Ubuntu Studio 为 7.04 版,目前仅支持 Intel i386 兼容的处理器。 Ubuntu Studio 从大量的开源多媒体创作程序
    2019-10-25
  • 最受欢迎的10款Linux免费游戏

    最受欢迎的10款Linux免费游戏

    图为在Linux下运行的免费游戏America's Army 如果你认为 Linux下没有什么好游戏的话,那就错了!我们来看看Linux下最受欢迎的10款游戏吧,而且这些游戏都是完全免费的! # skyreal update(06-12
    2019-10-25
  • compiz fusion特效使用心得(附3D桌面图)

    compiz fusion特效使用心得(附3D桌面图)

    3D桌面图 LINUX发行版就是好,当大多数人还在沉迷于那些什么风格图标鸟玻璃效果甚至孜孜不倦津津乐道的时候,Linux的高手们已经悄悄为我们开启了一个桌面系统3D的时代。 当我第一次
    2019-10-25
  • Ubuntu 下aMule 的安装配置

    Ubuntu 下aMule 的安装配置

    aMule 是一个类似于 eMule 的多平台 P2P 客户端程序。以下将简略叙述 aMule 在 Ubuntu 中的安装及配置 [High ID] 与 [KAD] 的过程。 安装: sudo apt-get install amule sudo apt-get install amule-utils 如果需要
    2019-10-25
  • JMeter jp@gc - stepping thread group插件

    JMeter jp@gc - stepping thread group插件

    这是一个出单接口压力测试的小例子,了解一下压力测试最最基础的基础。出单接口是用来保险出单的,不需要在UI界面下一步下一步的出单,接口一调数据入库完事~~~。再啰嗦一句接
    2019-10-27
  • Ubuntu 下使用K3B软件刻录光盘(图)

    Ubuntu 下使用K3B软件刻录光盘(图)

    不知大家会不会在Ubuntu下刻录光盘呢?k3b是KDE环境下的一个CD/DVD刻录软件,有非常容易使用的界面,功能比较齐全。用起来感觉就象是win下的Nero一样简单自然,比ubuntu里原来的刻录CD方式
    2019-10-25