为什么要建立数据仓库

数据仓库是为了满足分析需要，对源数据进行了Transform过程，具体是怎样一个处理过程，可以从Bill Inmon的仓库定义四个特性进行理解。）数据仓库系统（用数据库装东西）与其他基础业务系统（例如财务系统、销售系统、人力资源系统等，也是用数据库装东西）的区别是： 基础业务系统的特点是各管各的，例如财务系统生产了白菜，那么用一个数据库来装，人力资源系统生产了猪肉，再用一个数据库来装。我要做一道菜，需要分别到各个数据库去取，比较麻烦（现实的情况是大部分时候让种菜的农民伯伯送过来，但送过来的东西不一定是我想要的，而且不同的时候我想要不同的东西，经常会被农民伯伯骂，弄得双方都不开心）。另外一方面，各个数据库中放的是一些比较原始的东西，我要拿过来做菜，还需要经过很麻烦的清洗过程，一不小心里面可能就藏着一条大青虫。那么，数据仓库系统就是建立一个大的超市，将各地农民伯伯出产的东西收集过来，清洗干净，分门别类地放好。这样，你要哪种菜的时候，直接从超市里面拿就可以了。

让客户满意是我们工作的目标，不断超越客户的期望值来自于我们对这个行业的热爱。我们立志把好的技术通过有效、简单的方式提供给客户，将通过不懈努力成为客户在信息化领域值得信任、有价值的长期合作伙伴，公司提供的服务项目有：空间域名、网络空间、营销软件、网站建设、黄山区网站维护、网站推广。

数据仓库的特点是：

(1)数据仓库是面向主题的.

(2)数据仓库是集成的

(3)数据仓库具有时间相关性.

(4)数据仓库的数据是相对稳定的.

常用的大数据工具有哪些？

未至科技魔方是一款大数据模型平台，是一款基于服务总线与分布式云计算两大技术架构的一款数据分析、挖掘的工具平台，其采用分布式文件系统对数据进行存储，支持海量数据的处理。采用多种的数据采集技术，支持结构化数据及非结构化数据的采集。通过图形化的模型搭建工具，支持流程化的模型配置。通过第三方插件技术，很容易将其他工具及服务集成到平台中去。数据分析研判平台就是海量信息的采集，数据模型的搭建，数据的挖掘、分析最后形成知识服务于实战、服务于决策的过程，平台主要包括数据采集部分，模型配置部分，模型执行部分及成果展示部分等。

未至科技小蜜蜂网络信息雷达是一款网络信息定向采集产品，它能够对用户设置的网站进行数据采集和更新，实现灵活的网络数据采集目标，为互联网数据分析提供基础。

未至科技泵站是一款大数据平台数据抽取工具，实现db到hdfs数据导入功能，借助Hadoop提供高效的集群分布式并行处理能力，可以采用数据库分区、按字段分区、分页方式并行批处理抽取db数据到hdfs文件系统中，能有效解决大数据传统抽取导致的作业负载过大抽取时间过长的问题，为大数据仓库提供传输管道。

未至科技云计算数据中心以先进的中文数据处理和海量数据支撑为技术基础，并在各个环节辅以人工服务，使得数据中心能够安全、高效运行。根据云计算数据中心的不同环节，我们专门配备了系统管理和维护人员、数据加工和编撰人员、数据采集维护人员、平台系统管理员、机构管理员、舆情监测和分析人员等，满足各个环节的需要。面向用户我们提供面向政府和面向企业的解决方案。

未至科技显微镜是一款大数据文本挖掘工具，是指从文本数据中抽取有价值的信息和知识的计算机处理技术,

包括文本分类、文本聚类、信息抽取、实体识别、关键词标引、摘要等。基于Hadoop

MapReduce的文本挖掘软件能够实现海量文本的挖掘分析。CKM的一个重要应用领域为智能比对,

在专利新颖性评价、科技查新、文档查重、版权保护、稿件溯源等领域都有着广泛的应用。

未至科技数据立方是一款大数据可视化关系挖掘工具，展现方式包括关系图、时间轴、分析图表、列表等多种表达方式，为使用者提供全方位的信息展现方式。

计算机编程的领域有哪些？

科学计算是指利用计算机来完成科学研究和工程技术中提出的数学问题的计算。在现代科学技术工作中，科学计算问题是大量的和复杂的。利用计算机的高速计算、大存储容量和连续运算的能力，可以实现人工无法解决的各种科学计算问题。

例如，建筑设计中为了确定构件尺寸，通过弹性力学导出一系列复杂方程，长期以来由于计算方法跟不上而一直无法求解。而计算机不但能求解这类方程，并且引起弹性理论上的一次突破，出现了有限单元法。

2.数据处理(或信息处理)

数据处理是指对各种数据进行收集、存储、整理、分类、统计、加工、利用、传播等一系列活动的统称。据统计，80％以上的计算机主要用于数据处理，这类工作量大面宽，决定了计算机应用的主导方向。

数据处理从简单到复杂已经历了三个发展阶段，它们是：

①电子数据处理(Electronic Data Processing,简称EDP),它是以文件系统为手段，实现一个部门内的单项管理。

②管理信息系统(Management Information System,简称MIS),它是以数据库技术为工具，实现一个部门的全面管理，以提高工作效率。

③决策支持系统(Decision Support System,简称DSS),它是以数据库、模型库和方法库为基础，帮助管理决策者提高决策水平，改善运营策略的正确性与有效性。

目前，数据处理已广泛地应用于办公自动化、企事业计算机辅助管理与决策、情报检索、图书管理、电影电视动画设计、会计电算化等等各行各业。信息正在形成独立的产业，多媒体技术使信息展现在人们面前的不仅是数字和文字，也有声情并茂的声音和图像信息。

3.辅助技术(或计算机辅助设计与制造)

计算机辅助技术包括CAD、CAM和CAI等。

⑴计算机辅助设计(Computer Aided Design,简称CAD)

计算机辅助设计是利用计算机系统辅助设计人员进行工程或产品设计，以实现最佳设计效果的一种技术。它已广泛地应用于飞机、汽车、机械、电子、建筑和轻工等领域。例如，在电子计算机的设计过程中，利用CAD技术进行体系结构模拟、逻辑模拟、插件划分、自动布线等，从而大大提高了设计工作的自动化程度。又如，在建筑设计过程中，可以利用CAD技术进行力学计算、结构计算、绘制建筑图纸等，这样不但提高了设计速度，而且可以大大提高设计质量。

⑵计算机辅助制造(Computer Aided Manufacturing,简称CAM)

计算机辅助制造是利用计算机系统进行生产设备的管理、控制和操作的过程。例如，在产品的制造过程中，用计算机控制机器的运行，处理生产过程中所需的数据，控制和处理材料的流动以及对产品进行检测等。使用CAM技术可以提高产品质量，降低成本，缩短生产周期，提高生产率和改善劳动条件。

将CAD和CAM技术集成，实现设计生产自动化，这种技术被称为计算机集成制造系统(CIMS)。它的实现将真正做到无人化工厂(或车间)。

⑶计算机辅助教学(Computer Aided Instruction,简称CAI)

计算机辅助教学是利用计算机系统使用课件来进行教学。课件可以用著作工具或高级语言来开发制作，它能引导学生循环渐进地学习，使学生轻松自如地从课件中学到所需要的知识。CAI的主要特色是交互教育、个别指导和因人施教。

4.过程控制(或实时控制)

过程控制是利用计算机及时采集检测数据，按最优值迅速地对控制对象进行自动调节或自动控制。采用计算机进行过程控制，不仅可以大大提高控制的自动化水平，而且可以提高控制的及时性和准确性，从而改善劳动条件、提高产品质量及合格率。因此，计算机过程控制已在机械、冶金、石油、化工、纺织、水电、航天等部门得到广泛的应用。

例如，在汽车工业方面，利用计算机控制机床、控制整个装配流水线，不仅可以实现精度要求高、形状复杂的零件加工自动化，而且可以使整个车间或工厂实现自动化。

5.人工智能(或智能模拟)

人工智能(Artificial Intelligence)是计算机模拟人类的智能活动，诸如感知、判断、理解、学习、问题求解和图像识别等。现在人工智能的研究已取得不少成果，有些已开始走向实用阶段。例如，能模拟高水平医学专家进行疾病诊疗的专家系统，具有一定思维能力的智能机器人等等。

6.网络应用

计算机技术与现代通信技术的结合构成了计算机网络。计算机网络的建立，不仅解决了一个单位、一个地区、一个国家中计算机与计算机之间的通讯，各种软、硬件资源的共享，也大大促进了国际间的文字、图像、视频和声音等各类数据的传输与处理

参考资料：

做大数据分析一般用什么工具呢？

Java ：只要了解一些基础即可，做大数据不需要很深的Java 技术，学java SE 就相当于有学习大数据。基础

Linux：因为大数据相关软件都是在Linux上运行的，所以Linux要学习的扎实一些，学好Linux对你快速掌握大数据相关技术会有很大的帮助，能让你更好的理解hadoop、hive、hbase、spark等大数据软件的运行环境和网络环境配置，能少踩很多坑，学会shell就能看懂脚本这样能更容易理解和配置大数据集群。还能让你对以后新出的大数据技术学习起来更快。

好说完基础了，再说说还需要学习哪些大数据技术，可以按我写的顺序学下去。

Hadoop：这是现在流行的大数据处理平台几乎已经成为大数据的代名词，所以这个是必学的。Hadoop里面包括几个组件HDFS、MapReduce和YARN，HDFS是存储数据的地方就像我们电脑的硬盘一样文件都存储在这个上面，MapReduce是对数据进行处理计算的，它有个特点就是不管多大的数据只要给它时间它就能把数据跑完，但是时间可能不是很快所以它叫数据的批处理。

记住学到这里可以作为你学大数据的一个节点。

Zookeeper：这是个万金油，安装Hadoop的HA的时候就会用到它，以后的Hbase也会用到它。它一般用来存放一些相互协作的信息，这些信息比较小一般不会超过1M，都是使用它的软件对它有依赖，对于我们个人来讲只需要把它安装正确，让它正常的run起来就可以了。

Mysql：我们学习完大数据的处理了，接下来学习学习小数据的处理工具mysql数据库，因为一会装hive的时候要用到，mysql需要掌握到什么层度那?你能在Linux上把它安装好，运行起来，会配置简单的权限，修改root的密码，创建数据库。这里主要的是学习SQL的语法，因为hive的语法和这个非常相似。

Sqoop：这个是用于把Mysql里的数据导入到Hadoop里的。当然你也可以不用这个，直接把Mysql数据表导出成文件再放到HDFS上也是一样的，当然生产环境中使用要注意Mysql的压力。

Hive：这个东西对于会SQL语法的来说就是神器，它能让你处理大数据变的很简单，不会再费劲的编写MapReduce程序。有的人说Pig那?它和Pig差不多掌握一个就可以了。

Oozie：既然学会Hive了，我相信你一定需要这个东西，它可以帮你管理你的Hive或者MapReduce、Spark脚本，还能检查你的程序是否执行正确，出错了给你发报警并能帮你重试程序，最重要的是还能帮你配置任务的依赖关系。我相信你一定会喜欢上它的，不然你看着那一大堆脚本，和密密麻麻的crond是不是有种想屎的感觉。

Hbase：这是Hadoop生态体系中的NOSQL数据库，他的数据是按照key和value的形式存储的并且key是唯一的，所以它能用来做数据的排重，它与MYSQL相比能存储的数据量大很多。所以他常被用于大数据处理完成之后的存储目的地。

Kafka：这是个比较好用的队列工具，队列是干吗的?排队买票你知道不?数据多了同样也需要排队处理，这样与你协作的其它同学不会叫起来，你干吗给我这么多的数据(比如好几百G的文件)我怎么处理得过来，你别怪他因为他不是搞大数据的，你可以跟他讲我把数据放在队列里你使用的时候一个个拿，这样他就不在抱怨了马上灰流流的去优化他的程序去了，因为处理不过来就是他的事情。而不是你给的问题。当然我们也可以利用这个工具来做线上实时数据的入库或入HDFS，这时你可以与一个叫Flume的工具配合使用，它是专门用来提供对数据进行简单处理，并写到各种数据接受方(比如Kafka)的。

Spark：它是用来弥补基于MapReduce处理数据速度上的缺点，它的特点是把数据装载到内存中计算而不是去读慢的要死进化还特别慢的硬盘。特别适合做迭代运算，所以算法流们特别稀饭它。它是用scala编写的。Java语言或者Scala都可以操作它，因为它们都是用JVM的。

新闻名称：包含dssnosql的词条
本文URL：http://myzitong.com/article/dssesee.html