2.了解大数据相关技术了解大数据处理的工作运行机制，hadoop、spark、strom等关于大数据主流的框架以及相关的算法软件。其中大数据则是扮演着至关重要的角色，因此有越来越多的人接触和学习到大数据，那怎么能学习好大数据处理呢，具体内容如下：1.打牢扎实的基本功万丈高楼也都是从地基打起的，开始学习大数据处理之前，掌握扎实的基本功是非常重要的，它将会决定你未来的高度。
如何学习大数据处理？
随着当今信息化时代的快速发展，从IT时代已经来到了DT时代。其中大数据则是扮演着至关重要的角色，因此有越来越多的人接触和学习到大数据，那怎么能学习好大数据处理呢，具体内容如下：1.打牢扎实的基本功万丈高楼也都是从地基打起的，开始学习大数据处理之前，掌握扎实的基本功是非常重要的，它将会决定你未来的高度。
基本功包括掌握Python，JAVA等支持大数据的编程语言、Linux操作系统、常用的主流数据库以及达标的高数和英语水平。2.了解大数据相关技术了解大数据处理的工作运行机制，hadoop、spark、strom等关于大数据主流的框架以及相关的算法软件。3.制定合理学习计划有了计划，学习就有了明确的目标和具体的步骤，可以增强工作的主动性和减少盲目性。
根据自身基础和学习状态制定出一套切实可行的学习计划，计划一定要分解到位，进行细化。并按照制定好的计划，一步一步地落实完成。4.培养快速学习能力对于不了解和专业性比较强的知识，我们可以通过网络检索、访问学术网站或者查阅学术文献等方式来对相关知识进行学习，快速地进入和熟悉未知的领域，丰富自己的能力。5.积累大量实战经验再好的知识储备没有实际的演练，也终将是纸上谈兵。
大数据处理的流程是什么？
什么是大数据：大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据的5V特点：Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）、Veracity（真实性），百度随便找找都有。
大数据处理流程： 1.是数据采集,搭建数据仓库，数据采集就是把数据通过前端埋点，接口日志调用流数据，数据库抓取，客户自己上传数据，把这些信息基础数据把各种维度保存起来，感觉有些数据没用（刚开始做只想着功能，有些数据没采集， 后来被老大训了一顿）。 2.数据清洗/预处理：就是把收到数据简单处理，比如把ip转换成地址，过滤掉脏数据等。
3.有了数据之后就可以对数据进行加工处理，数据处理的方式很多，总体分为离线处理，实时处理，离线处理就是每天定时处理，常用的有阿里的maxComputer,hive,MapReduce,离线处理主要用storm,spark,hadoop,通过一些数据处理框架，可以吧数据计算成各种KPI,在这里需要注意一下，不要只想着功能，主要是把各种数据维度建起来，基本数据做全，还要可复用，后期就可以把各种kpi随意组合展示出来。
4.数据展现，数据做出来没用，要可视化，做到MVP，就是快速做出来一个效果，不合适及时调整，这点有点类似于Scrum敏捷开发，数据展示的可以用datav，神策等，前端好的可以忽略，自己来画页面。数据采集： 1.批数据采集，就是每天定时去数据库抓取数据快照，我们用的maxComputer，可以根据需求，设置每天去数据库备份一次快照，如何备份，如何设置数据源，如何设置出错，在maxComputer都有文档介绍，使用maxComputer需要注册阿里云服务 2.实时接口调用数据采集，可以用logHub,dataHub,流数据处理技术,DataHub具有高可用，低延迟，高可扩展，高吞吐的特点。
高吞吐：最高支持单主题（Topic）每日T级别的数据量写入，每个分片（Shard）支持最高每日8000万Record级别的写入量。实时性：通过DataHub ，您可以实时的收集各种方式生成的数据并进行实时的处理，设计思路：首先写一个sdk把公司所有后台服务调用接口调用情况记录下来，开辟线程池，把记录下来的数据不停的往dataHub,logHub存储，前提是设置好接收数据的dataHub表结构3.前台数据埋点，这些就要根据业务需求来设置了，也是通过流数据传输到数据仓库，如上述第二步。
数据处理：数据采集完成就可以对数据进行加工处理，可分为离线批处理，实时处理。 1.离线批处理maxComputer，这是阿里提供的一项大数据处理服务，是一种快速，完全托管的TB/PB级数据仓库解决方案，编写数据处理脚本，设置任务执行时间，任务执行条件，就可以按照你的要求，每天产生你需要数据 2.实时处理：采用storm/spark,目前接触的只有storm,strom基本概念网上一大把，在这里讲一下大概处理过程，首先设置要读取得数据源，只要启动storm就会不停息的读取数据源。
Spout，用来读取数据。Tuple：一次消息传递的基本单元，理解为一组消息就是一个Tuple。stream,用来传输流，Tuple的集合。Bolt：接受数据然后执行处理的组件,用户可以在其中执行自己想要的操作。可以在里边写业务逻辑，storm不会保存结果，需要自己写代码保存，把这些合并起来就是一个拓扑，总体来说就是把拓扑提交到服务器启动后，他会不停读取数据源，然后通过stream把数据流动，通过自己写的Bolt代码进行数据处理，然后保存到任意地方，关于如何安装部署storm，如何设置数据源，网上都有教程，这里不多说。
数据展现：做了上述那么多，终于可以直观的展示了，由于前端技术不行，借用了第三方展示平台datav,datav支持两种数据读取模式，第一种，直接读取数据库，把你计算好的数据，通过sql查出，需要配置数据源，读取数据之后按照给定的格式，进行格式化就可以展现出来@jiaoready @jiaoready 第二种采用接口的形式，可以直接采用api，在数据区域配置为api，填写接口地址，需要的参数即可，这里就不多说了。
企业如何选择大数据解决方案？
主要考虑以下6个重要方面：1分析蓝图无论是从哪一类具体的分析需求开始，对于分析的构建，都需要对整个蓝图有一个设想，有一个自上而下的设计。在构建企业分析时，有三个维度是很重要的：业务链、产业链、面向对象，不同的人员在不同的业态下除了配置报表外，在数据分析阶段还可以设置主题分析的内容，自上而下的目标监控，自下而上的原因反馈。
为了更好地提升企业级能力，在商业分析到一定阶段后，要做全价值链分析，同时，针对多业态的产业链，要做统一的价值体系。2数据采集说到数据采集，就要提到数据中台。前几年企业主要在做一些基础信息化建设，包括ERP/零售/协同/HR等流程性的基础建设，这些成为企业的内部数据。同时，企业也会涉及一些外部数据，如Saas数据、行业数据、政务平台数据等。
分析云是把企业内部数据和外部数据都放到中台里面，内部的数据是通过数据抽取的方式，对接ERP，直接抽取；外部数据是采用云服务，爬虫的方式爬到云端再转存到数据中台。数据中台的所有数据是在企业端的，安全可靠且稳定。在数据中台里，还会对数据进行处理，因为这些数据有可能是异构系统，对主数据的管理，数据治理等；一切业务数据化，一切数据业务化。
3语义模型“语义层”技术通过对数据库里的有关数据项定义，把数据库中的数据定义成有明确的业务含义的名称，业务人员所面对的不再是数据库中的表、字段和它们之间复杂的关联、计算关系，而是所熟悉的业务术语和指标名称。业务用户可以基于“语义层”简单快速地构建业务分析，实现业务人员做分析，IT人员做支持，提升分析效率及数据准确性。
4敏捷智能自助分析：人人都可自助分析，即使不懂代码，也可以做数据分析；开箱即用：预置了U8/NC/K3等主流ERP的财务和供应链分析主题，开箱即用，扩展简单；智能分析：支持同比、环比、占比、排名、预警、预测、高级计算等功能。智能预警：可以对不同的用户设置不同的预警值，通过邮件、钉钉、微信等IM进行图文消息推送。
智能预算：通过对企业内外部环境的分析，在预测与决策基础上，调配相应的资源，对企业未来一定时期的经营和财务等做出一系列具体计划。5展现方式丰富的可视化图形元素，尤其是表格，如固定表、垂直表、交叉表、复合表等，要能满足复杂的中国式报表和大表。不仅能够支持PC端应用，还可接入移动端，或大屏展现等。6版本升级提供免费在线自动更新升级，产品能够不断迭代，bug修复和新功能升级等。
人力资源管理的大数据解决方案？
大数据时代企业竞争越发激烈，如今企业竞争的根本是人才竞争，人才是企业发展的战略资源，人力资源的合理配置关系到企业资源的盘活和企业生命力的延续，是提升企业核心竞争力的关键因素。人力资源全产业链正在发生巨变，人力资源管理是现代企业管理中一个重要环节，其重要性也是日益显现，企业人力资源管理对大数据的应用是顺应时代发展的必然趋势，是实现企业可持续发展的必要手段。
人力资源管理的现状在新经济条件下，企业人力资源管理必然要发生变化，很多企业已经开始积极进行改革，从繁琐流程、高费用和多人参与的传统管理，到市场化、专业化、精准化的新型管理，使得人力资源价值最大化，但在此过程中也会遇到一些难点。难点一：数据口径人力数据信息同样呈现高增长率和多样化的特点，比如，企业员工信息能够真实地反映员工的绩效水平、综合素质、工作效率等指标，然而这些基础信息又包含个人年龄信息、技能水平、综合素质、相关资质等多方面信息，需要统一所有数据口径才能完成指标分析。
难点二：技术瓶颈人力资源部门属于前台业务部门，数据管理更多的是信息技术人员在后台操作，所以人力资源的数据分析对于前台业务人员是有难度的，需要改变这种工作方式才能提高工作质量和效率。难点三：应用风险人力资源信息涉及很多个人信息、企业内部资料，甚至是商业机密，所以数据安全是重中之重，在保障信息的安全性和隐私性的基础上，才能实现其数字化管理的价值。
人力资源的分析需求大数据时代推动企业数字化转型，然而转型过程并非一日之功，企业都需要遵循着数据指导业务的模式逐步完善数字化管理体系，首先来看下企业整体分析需求架构。图-企业整体分析需求传统的企业绩效评估往往源于财务指标，在新的知识经济时代，人力资源成为企业重要的无形资产，这些资产是传统财务指标无法捕捉的。
企业发展过程中，既要关注过去和现在，同时又要关注未来，尤其关注人力资本产生的独特的竞争优势。因此，对企业人力资本的度量成为企业绩效评估的新方式。通过对人力资本的分析，可以发现企业在人力资源供给、人力成本投入、经营绩效产出、发展与保持力和人力资源运营有效性方面存在的问题，通过量化的指标，帮助企业CEO/CHO、各级企业经营负责人、HR负责人等进行科学决策、管理风险、控制成本，从而优化投资回报、促进业务发展、支撑企业战略。
图-人力资本分析体系分析云解决方案数据中台，构建体系化分析数据数据中台的建立，可以高效满足前台数据分析和应用的需求，它是一个承接技术，引领业务，构建规范定义的、全域可连接萃取的、智慧的数据处理平台，所有经过处理的数据进入数据中台，并统一建立业务模型，以供业务分析使用。图-数据中台应用数据逻辑语义层，打造自助式分析平台语义层将后台数据库系统中的存储数据从技术人员的视角转向业务人员和管理人员的视角，实现了将复杂的数据查询、分析和报表制作从IT技术人员的专项应用到企业全员易用的转变。
在分析云中，业务人员可以基于“语义层”通过简单拖拉拽快速构建业务分析。图-分析云语义模型BI Inside，体验嵌入式场景分析BI Inside使业务系统与数据分析融为一体，报表和管理驾驶舱大屏等分析结果，可以完美的嵌入到业务系统中，供最终用户查看和使用，同时，用户身份可以直接使用业务系统用户认证体系，登录系统后，自动根据用户权限查看相应的报表。
图-分析云与致远协同门户集成五、分析云相关应用1.人力总监看板 2.核心人员离职报表3.分析云人力成本报表4.分析云人员绩效报表5.分析云人事部大屏6.分析云移动端员工日志六、方案小结大数据时代推动企业精细化管理，尤其在人力资源管理方面，对选人、育人、用人、留人进行量化，使得人力资源管理更加高效和精准，建立适合企业发展的管理制度和流程，从而实现质量和效率的平衡。
