利用大数据技术进行图像处理

2017-04-21 14:04 来源:大数据周刊 作者:易采站长站
 

图像是信息的重要载体,人类获取的外界信息中,80%左右来自于视觉。通过对计算机视觉的原理研究,处理大量图对象一直都是个挑战,但最近大数据技术的进步却让这一工作变得更具实践性。

blob.png

关注大数据观察网(微信公众号:shuju_net)了解更多精彩资讯

理论知识和开源研究

近几年涌现出很多处理大型图对象的技术,其中有两类系统值得考虑:一是针对OLTP工作负载,能够快速低延迟访问小部分图数据的图数据库。二是针对OLAP工作负载,能够对图对象中的大部分数据进行批处理的图处理引擎。

知名的图数据库已有很多,但最近仍涌现出几个标新立异的项目。 Neo4j算是最老牌、最成熟的图数据库之一,但因不支持分片而依然存在可伸缩性的问题。另一个非常年轻的品牌是Titan,却在2013年成为非常流行的数据库。作为后端无关的图数据库,它支持HBase和Cassandra的可伸缩架构,并且如2013年的一篇博文所报道的,它在内部使用了一套优化的顶点和边表示法以使其能处理几十亿个边对象。

但你不必非要使用图特定数据库,更通用可伸缩的NoSQL数据库也是有效的解决方案。基于Google BigTable并在2011年开源的Apache Accumulo就是一个通用数据库的例子,它的数据记录很灵活,所以也适合存储大型图对象,同时还可以用来存储含有类型化的边和权重的图对象,2013年发布的一份技术报告表明NSA也在使用它。Cassandra或者Aerospike则是另一种数据库,它们能通过适当的数据模型,给图对象高效地建模。Facebook也构建了自己的解决方案,他们在被称为Tao的系统中使用了MySQL和Memcache组合,并正在使用这一方案为其用户提供社区图服务。

项目应用实践

基于上述理论和开源探索,下面以一个我们的应用 “图像信息识别获取大数据的分析预测系统”来进行具体描述,其中使用了图像处理和大数据的相关技术。

“图像信息识别获取大数据的分析预测系统”系统的目的是根据大量源数据,图片、文档、视频等信息,通过图像处理的手段,自动获取大量数据,并将信息入库。根据建立的数据库,训练预测走势模型,期望能够通过输入前N天的数据走势,去预测后一天的走势变化。

系统已实现了图片文档的自动识别,获取所需要信息数据并自动录入数据库。根据需要做数据分析,建立数据模型,根据历史数据预测未来数据。

例如系统自动批量截取网页中的某一张图像:

图1 采集的指数原始图像

运用图像识别技术,主要分两步:

第一步是训练样本。样本的训练过程如下:

图2 样本的训练过程

第二步,进行图像识别的处理。处理流程如下:

图3 图像识别过程

通过反复训练和识别处理就能精确获取指定日期的新闻头条和平均值的媒体指数以及具体头条的相关报道条目,并保存到数据库中。

利用大数据技术和相关算法进行预测计算,下图中未来的某个点(红点),根据此点对应日期以前的数据点计算预测未来一天的数据点,系统可以基于数据分析,发挥预测的作用:

图4 利用大数据进行指数预测

图像处理让我们挖掘有价值数据变的更容易,基于大数据的技术支持,让识别变得主动而聪明。图像处理和大数据技术将走进普通人的世界,让我们的生活变得更生动。

结语:数据收集是一个从被动到主动的过程,没有基础的技术实力,图像是好玩不起来的,图像识别过去大多是建库识别,深度学习释放了图像识别的识别领域。而高级和低级的门槛就在深度学习的研究上。国内虽然起步较晚,但发展的速度非常快。

(责任编辑:王丽)

关键词: 分享 大数据 应用 资讯 整合

微博/微信

易采站长站每天为您奉上最新、最热的IT行业资讯、热门报道、新品发布、人物动态等资讯信息。

关注易采站长站微博,看科技资讯关注行业动态。

↑扫描二维码

在手机上看科技快讯、热点报道

第一时间看独家爆料和深度报道

请关注易采站长站官方微信帐号:

1.用手机扫左侧二维码;

2.在添加朋友里,搜索关注easckcom

最新评论

利用大数据技术进行图像处理

利用大数据技术进行图像处理

图像是信息的重要载体,人类获取的外界信息中,80%左右来自于视觉。通过对计算机视觉的原理研究,处理大量图对象一直都

马化腾:互联网+是手段,数字经济是

马化腾:互联网+是手段,数字经济是结果

马化腾说:“今年很大的特点,就是我们来到了杭州。” 关注大数据观察网(微信公众号:shuju_net)了解更多精彩资讯 4月

六大城市住房消费大数据报告,未来或

六大城市住房消费大数据报告,未来或超北上广

“预计到2025年,重庆GDP会超越广州、深圳,武汉和成都的GDP或突破2万亿;人口规模上,预计到2025年,内陆六城人口总和将突破1亿

热播剧《人民的名义》最反感角色及最

热播剧《人民的名义》最反感角色及最佳演技都

最近各大媒体对热播剧《人民的名义》报道不断,此剧也成了人们闲聊之时必谈的话题。其中有不少观众都会探讨对剧中角色

吴敬琏:有大数据也不能搞计划经济

吴敬琏:有大数据也不能搞计划经济

为什么会提出供给侧结构性改革?为什么是供给侧?为什么要结构性改革?这个口号提出以后一炮而红,当时就没有把这些事

图文热点

谷歌公司在台湾购买可再生能源 扩大

谷歌公司在台湾购买可再生能源 扩大数据中心规

谷歌公司将收购可再生能源并扩大其在台湾的数据中心的规模,以及支持美国政府支持采用可再生能源的方案。 据报道,谷

万国数据在美上市,募资规模约为1.

万国数据在美上市,募资规模约为1.925亿美元

北京时间11月3日上午消息,中国数据中心开发商和运营商万国数据(GDS Holdings)周三公布的IPO发行价为每股ADS(美国存托股份

今日头条在娱乐盛典上发布年度娱乐大

今日头条在娱乐盛典上发布年度娱乐大数据

2017年1月10日,备受瞩目的、由“这一刻更清晰的全新拍照手机OPPO R9s”冠名的“谁是恒星·今日头条2016年度娱乐盛典”在北京

腾讯“云+未来”峰会系列首站落地苏

腾讯“云+未来”峰会系列首站落地苏州

大数据的价值越来越为企业所重视,不论是新兴的互联网企业,还是传统制造企业,都在探索利用大数据驱动业务发展的方法

大数据为您盘点,里约奥运会火了啥

大数据为您盘点,里约奥运会火了啥

里约奥运会可谓是这个夏天最受关注的焦点,听说今年的里约奥运会不仅火了咱们中国队的选手,也让中国的“特产”火了一

推荐资讯

中国大数据或弯道超车,“川普奇迹”

中国大数据或弯道超车,“川普奇迹”拷问美国

11月9日,人类历史上最精彩最暴虐的一届美国总统大选落下帷幕,此前连自己都认为自己输定的特朗普,即将踏着全球专家跌