大数据技术的方法与工具2-分析篇

原创 城室科技 城室科技

大数据分析是指对规模巨大的数据进行分析。大数据可以概括为5个V， 数据量大(Volume)、速度快(Velocity)、类型多(Variety)、价值（Value）、真实性（Veracity）。

大数据作为时下最火热的IT行业的词汇，随之而来的数据仓库、数据安全、数据分析、数据挖掘等等围绕大数据的商业价值的利用逐渐成为行业人士争相追捧的利润焦点。随着大数据时代的来临，大数据分析也应运而生。

一

分析方法

大数据分析有以下几个特点：

（1）数据体量巨大。从TB级别，跃升到PB级别；

（2）数据类型繁多，包括网络日志、视频、图片、地理位置信息等等;

（3）价值密度低。以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒;

（4）处理速度快。最后这一点也是和传统的数据挖掘技术有着本质的不同。

对大数据的分析方法常见的有分类、回归、聚类、相似度计算以及其他统计学意义分析。

二

分析工具

地图数据

以地图数据为例，对于地理数据的主要分析工具基本都是以GIS为基础发展出来的。下面分别介绍不同的GIS分析工具。

01.ArcGIS

发布公司

美国环境系统研究所公司 (Environmental Systems Research Institute，ESRI)

功能介绍

创建、共享和使用智能地图；编译地理信息；创建和管理地理数据库；使用空间分析解决问题。

使用场景

处理地理信息数据。

使用方式

100美金/年。

02. QGIS

发布公司

QGIS开发团队

功能介绍

创建、共享和使用智能地图；编译地理信息；创建和管理地理数据库；使用空间分析解决问题。

使用场景

处理地理信息数据。

使用方式

免费。

一般数据

01.Apache Hadoop

发布公司

Apache软件基金会

功能介绍

能够对大量数据进行分布式处理的软件框架，处理速度非常快。

使用场景

搜索引擎，互联网行业等产生大量数据的行业。

使用方式

免费。

02.SPSS

发布公司

IBM

功能介绍

用于统计学分析运算、数据挖掘、预测分析和决策支持任务。

使用场景

广泛应用于各种统计分析。

使用方式

学术免费。

03.CityFace

发布公司

上海城诗信息科技有限公司

功能介绍

CityFace是一个影像大数据分析平台，不仅可以完成街景图片的云端储存，还能采用图像处理算法和人工智能深度学习完成对多种街景要素的分析计算，并最终返回到移动端供用户使用。

使用场景

城市街景图像分析。

使用方式

大部分服务免费。

04.CitoryTech算法集成工具

发布公司

上海城诗信息科技有限公司

功能介绍

这是一款微信小程序，通过互联网开发技术，将多种基于机器学习的城市影像研究算法集成到小程序应用中，让用户体验使用更加方便。

使用场景

图像分析

使用方式

免费。

关注公众号回复“大数据采集”、“大数据表达”关键词，查看《大数据技术的方法与工具—采集篇》、《大数据技术的方法与工具—表达与监测评估篇》

原标题：《【干货分享】大数据技术的方法与工具2-分析篇》

阅读原文