推广:《城市数据师梦想特训营》原创大牛公开课报名详询QQ月11日北京开营,火热报名中!面向城市研究和规划工作者的个性化定制课程,从大数据基础、互联网大数据、轨迹大数据、大数据可视化、Python、机器学习、到R,城市数据师需要具备的一切技能都在此!(点击看详情)
派姐(城市数据派创始人)
大数据时代的城市数据师,你是否一直想要这样一款工具?
它支持0代码获取大数据,并且可图形化定义数据处理流程;能完成数据转换、变换和自动化处理,实现各种数据、系统和设备的有效集成;支持各种数据类型和协议;提供各类数据处理工具;支持多种坐标系;并且具有处理大数据和自动化的数据处理能力等等。
它就是FME!
FME的国内领头人徐珩从多个案例入手:互联网大数据的获取与处理、影像路网交通数据的获取、地铁刷卡数据的处理、多源数据的链接,可视化天气预报、船舶数据自动化、智慧校园体系的建立等,讲解了FME的使用。
点击文末“阅读原文”,可获得该工具的下载和申请试用地址哦!了解更多可加入城市数据派实名制
今天由我给大家介绍一下,基于FME的城市开放数据(大数据)的获取与处理。FME这款产品,是非常有特色的,我相信能够给大家带来耳目一新的感觉。这个产品诞生也有二十多年了,但是可能各位了解的比较少。
大数据来了,确实大家都感受到了它强大的力量。
特征不讲了,但是想通过特征来反映三个在技术上的通病,或者说遇到的一些麻烦。
第一:对数据挖掘性能高
大数据要用于生产、决策。体量大、变化快的数据对性能要求很高。就是你要有一个数据分析工具,或者是处理工具,对它的性能要求很高。
第二:数据挖掘难度大
因为相对来说它的价值密度低,想要捕获规律,数据挖掘的难度就比较大。
第三:数据挖掘工具适应性高
因为数据的类型非常多,所以对数据挖掘工具的适应性要求很高。这里面可能从传统的大数据,到现在指的互联网这样的大数据都有所涉及。
所以我们做了一个问号。
第一类:GIS数据
举三个例子。
第一个:航天航空遥感数据
传统的GIS经常会用到的一些数据。比如说航空航天所能获得的所有的影像数据,一直以来传统的GIS都认为这是非常大体量的数据。
第二个:倾斜摄影测量数据
倾斜摄影测量非常地热门这两年,在实时快速地获得影像以后,建立一个城市的自然模型,也会产生大量的数据。
第三个:点云数据
还有就是室内与室外的这种点云的快速的激光雷达的采集,也会带来大量的数据。以上是传统的和新技术所带来的在GIS里面最常用的,或者是数字城市最常用的几类数据。
因为这样的传统数据,在GIS行业里面,GIS软件更多的只是用来最终地展示它,而所有的数据处理中间过程,都是专业软件完成的。基本上GIS的很多平台,是没有涉及到大数据处理本身里面去的。
第二类:BIM数据
在建筑行业里面,现在BIM是非常热门的一个话题。它也会产生大量的数据,甚至一个复杂的单体建筑,一段地铁的通道数据,都会超过传统GIS在一个数字城市里面建的面的数量。这样两类不同的数据,我们要把它融合,也是有非常大的难度。
第三类:基于位置的大数据。
就是移动互联网和物联网的数据,这是基于位置的大数据。
这里我们举了一些例子。不知道大家有没有注意到,至少就我本人来讲,已经连续很长时间没有使用现金了,都是通过支付宝或白癜风初期白癜风的影响