自由数据告诉你,大数据分析哪个领域运用最多?
大数据有很多奇妙得运用,帮助人们真正从中获益。社会中的大多数企业基本会受到大数据分析的影响,但大数据是是如何增加企业及其产品价值的呢?
下面让我们来看看9个大数据高效益运用的关键领域:
1.拓展客户,分析客户需求,提供客户需要的服务
这是大数据应用最普遍,也最广为人知的一个领域,其主要方向是企业通过大数据分析更好地了解自己客户的行为和喜好。为了更全面的获得这些信息,企业都热衷于手机社交媒体、浏览器日志、文本分析和传感器的相关数据。一切工作的总目标是创建预测模型,比如美国零售商Target通过大数据分析可以准确地预测客户什么时候想要小孩,沃尔玛可以更好地预测哪些产品将会热卖,而政府能更好的掌握政务与群众生活的相关性。
2.企业对内优化业务流程,提升工作效率
在很多领域中,大数据越来越多地用于业务流程的优化,主要手段是收集社交媒体数据、网络搜索趋势及天气预报等方面大数据信息,进行大数据分析,从中挖掘出有针对性的预测信息,使得包括零售商在内的大多企业可以准确精细的分析出自身业务流程的优势和不足,并根据大数据分析得出的结论找到合适的调整方式与业务模式。比如人力资源业务流程也能够通过使用大数据分析来改进,优化人才招聘,衡量企业文化和运功参与度等之类的问题。
3.机器和设备的性能优化
在大数据时代,机器和设备的发展趋势必然是更加智能和自主化,像被大数据工具运行的谷歌自驾车、GPS及强大的计算机和传感器,在未来的道路上,不再需要人工的干预。
4.国家提高安全和执法
信用卡安全、网络安全、犯罪活动等都是治安执法的不变的主题,警察可以使用大数据工具来捉住最烦,预测犯罪活动,而信用卡公司可以利用大数据工具来检测欺诈性交易。大数据被广泛运用于治安执法的过程中,提高了执法的灵敏性,增加了对犯罪和恐怖主义活动的可控、可预测性。
5.智慧城市建设和智能化转型
大数据在国家安全和执法中的运用,改善了安全和执法,同时也是城市与国家转型的必要工具。很多城市都在试点运用大数据分析技术,将交通和公共设施纳入智能化的范围,试图转变为智能城市。大数据分析技术基于城市的实时交通信息、社交媒体和天气数据,适时优化交通情况,汇总成实时交通讯息。除此之外,在城市和国家转向智能化的过程中,大数据工具和技术能提供的是一个不可或缺的平台和道路。
6.个人生活中息息相关的大数据
适用于政府和企业的大数据,其实也适用于个人的生活。当人工智能产品进入日常的生活(如智能手表),我们就可从穿戴设备的应用中生成数据,追踪个人的热量消耗、睡眠模式等。甚至大数据也能成为寻找爱情的好帮手,众多社交平台和网站都运用大数据工具和算法分析用户的属性等其他信息,帮助自己的用户寻找到最合适的对象。
7.大数据使医疗技术应用和研发更快捷、高效
如每个人能受益于智能产品一样,在医疗卫生领域,大数据也能帮助医生更好的研究、诊断和治疗疾病。目前,大数据技术已被用来监视早产婴儿以及患病婴儿,记录每次心跳,分析呼吸模式,医生能在任何不适症状出现之前预测24小时内的病情,使得患病婴儿得到更早的救助。未来的临床实验不仅局限于小样本,更会服务于每个人,并且使医护人员与研究人员能更好地理解和预测疾病模式,运用大数据分析的计算能力能在几分钟内解码整个DNA,缩短找到新治疗方法的周期。
8.全方位追踪运动员以获得更优的改进
在运动领域运用大数据分析技术已不占少数,这样的监测几乎渗透进了运动员生活的方方面面。比如网球鼻塞的TBM Slam Tracker工具,它使用视频分析追踪足球或棒球比赛中每个球员的表现。而若在运动器材中使用传感器技术,(如篮球或高尔夫俱乐部)则是通过获得鼻塞的数据,以分析结果为依据进行改进。除此之外,不少的精英运动队还利用智能技术追踪赛外运动员的活动,获得其营养状况及睡眠,甚至是社交对话等更日常、细节的信息监控其情感状况。
9.金融交易中使用,精准卖出和买入
金融行业应用大数据主要是在金融交易一块,尤其是高频交易(HFT)领域。大多数股权交易都是通过大数据算法进行的,这些算法越来越多地开始考虑社交媒体和新闻网站的影响因素,以此在几秒内作出买入和卖出的决定。
上述9个领域是目前应用大数据最多的领域,随着大数据工具越来越普及,还会有更多的其他应用领域,以及更多新的应用。
提供大数据工具和技术的平台也会随之增多,覆盖领域更广更全。作为国内优秀的企业数据定制服务平台之一, 自由数据 致力于为企业和开发者提供优质的数据资源、 API接口 和 数据定制服务 等,重点覆盖企业征信数据、 金融数据 、 社会舆情 、 生活数据 等领域。
行业内主要企业:易华录(300212)、美亚柏科(300188)、海量数据(603138)、同有科技(300302)、海康威视(002415)、依米康(300249)、常山北明(000158)、思特奇(300608)、科创信息(300730)、神州泰岳(300002)、蓝色光标(300058)等
本文核心数据:中国大数据行业市场规模、中国大数据产业下游分布
我国大数据产业开始已进入深化阶段
中国大数据产业从萌芽到如今渐成体系,已走过将近10个年头。“十四五”开局之年,大数据产业也进入了集成创新、深度应用的新阶段。大数据在医疗、工业、交通等领域的融合应用技术加快创新突破,大数据融合应用重点从虚拟经济转变为实体经济大数据底层技术方面,信息安全、模式识别、语言工程、计算机辅助设计、高性能计算等加快突破,大数据技术领域逐渐补齐短板,并进一步强化长板。
2021年市场规模接近900亿元
近年来我国大数据行业取得快速发展,赛迪CCID统计,我国大数据市场规模由2019年的619.7亿元增长至2021年的863.1亿元,复合年增长率达到18.0%,大数据市场规模包含了大数据相关硬件、软件、服务市场收入。在全球新冠肺炎疫情之下,我国经济率先复苏并总体保持恢复态势,伴随国家快速推动数字经济、数字中国、智慧城市等发展建设,未来大数据行业对经济社会的数字化创新驱动、融合带动作用将进一步增强,应用范围将得到进一步拓宽,大数据市场也将保持持续快速的增长态势。
金融行业是我国大数据产业规模最大的下游行业
大数据分析行业是指借助大数据技术对规模巨大的数据进行处理、分析挖掘、应用等,实现大数据价值,并以产品或服务等形式,赋能客户数字化运营的大数据细分行业。近年来,伴随下游行业对全业务流程数字化运营需求的持续广泛和深入,大数据分析市场取得了良好发展,呈现出高速发展态势。根据赛迪的数据,2021年我国大数据分析市场下游行业中,金融、政府、电信和互联网位居应用领域前四名,市场占比分别为19.1%、16.5%、15.2%和13.9%,合计超过60%。
大数据软件与服务的需求不断提升
目前,我国的大数据产业进入高质量发展阶段,大数据软件和大数据服务的需求开始不断提升,大数据硬件占比有所下降但仍占据主导地位,2021年我国大数据市场结构中,大数据硬件、大数据软件和大数据服务的市场占比分别为40.5%、25.7%和33.8%,市场规模分别为349.5亿元、221.8亿元和291.7亿元。近几年大数据硬件的占比在逐渐下降,大数据软件和大数据服务的占比在逐步提高。未来我国大数据软件和服务市场相比硬件市场将呈现更好的发展态势。
不同类型大数据企业竞争程度差异极大
目前,IT产业在发展过程中已经形成了一些层次分布,有做服务器和底层系统的,有做软件的,有做应用的,大数据也需要在原有的架构上加以发展。原来做基础设施的企业,如联想、华为,也要向大数据转型,提供低成本、低能耗的大型存储器,这是大数据产业的基础。中间层是类似Hadoop、MapReduce的数据分析软件,原有的软件产业也要转型,由卖软件转为以数据为中心。再往上就是百度、腾讯、阿里巴巴等大数据应用服务公司,需要增加数据分析的效用。
更多本行业研究分析详见前瞻产业研究院《中国大数据产业发展前景与投资战略规划分析报告》。
大数据的特征(4V):
1. 数据的规模性
2. 数据结构多样性
3. 数据传播高速性
4. 大数据的真实性、价值性、易变性;
结构化数据、半结构化数据、非结构化数据
大数据处理的基本流程图
大数据关键技术:
1. 大数据采集
2. 大数据预处理
3. 大数据存储及管理
4. 大数据安全技术
5. 大数据分析与挖掘
6. 大数据展现与应用
二、大数据营销概论
Target 百货客户怀孕预测案例
大数据营销的特点:
1. 多样化、平台化数据采集: 多平台包括互联网、移动互联网、广电网、智能电视等
2. 强调时效性: 在网民需求点最高时及时进行营销
3. 个性化营销: 广告理念已从媒体导向转为受众导向
4. 性价比高: 让广告可根据时效性的效果反馈,进行调整
5. 关联性: 网民关注的广告与广告之间的关联性
大数据运营方式:
1. 基础运营方式
2. 数据租赁运营方式
3. 数据购买运营方式
大数据营销的应用
1. 价格策略和优化定价
2. 客户分析
3. 提升客户关系管理
4. 客户相应能力和洞察力
5. 智能嵌入的情景营销
6. 长期的营销战略
三、产品预测与规划
整体产品概念与整体产品五层次
整体产品概念: 狭义的产品: 具有某种特定物质形态和用途的物体。
产品整体概念(广义):向市场提供的能够满足人们某种需要的
一切物品和服务。
整体产品包含:有形产品和无形的服务
整体产品五层次:潜在产品、延伸产品、期望产品、形式产品、核心产品
大数据新产品开发模型:
1. 需求信息收集及新产品立项阶段
2. 新产品设计及生产调试阶段
3. 小规模试销及反馈修改阶段
4. 新产品量产上市及评估阶段
产品生命周期模型
传统产品生命周期划分法:
(1)销售增长率分析法
销售增长率=(当年销售额-上年销售额)/上年销售额×100%
销售增长率小于10%且不稳定时为导入期;
销售增长率大于10%时为成长期;
销售增长率小于10%且稳定时为成熟期;
销售增长率小于0时为衰退期。
(2)产品普及率分析法
产品普及率小于5%时为投入期;
普及率在5%—50%时为成长期;
普及率在50%—90%时为成熟期;
普及率在90%以上时为衰退期。
大数据对产品组合进行动态优化
产品组合
销售对象、销售渠道等方面比较接近的一系列产品项目被称为产品线。产品组合是指一个企业所经营的不同产品线和产品项目的组合方式,它可以通过宽度、长度、深度和关联度四个维度反映出来
四、产品定价与策略
大数据定价的基本步骤:
1. 获取大数据
2. 选择定价方法
3. 分析影响定价因素的主要指标
4. 建立指标体系表
5. 构建定价模型
6. 选择定价策略
定价的3C模式:成本导向法、竞争导向法、需求导向法
影响定价的主要指标与指标体系表的建立
影响定价因素的主要指标:
1. 个人统计信息:家庭出生、教育背景、所在地区、年龄、感情状况、家庭关系等。
2. 工作状况:行业、岗位、收入水平、发展空间等
3. 兴趣:健身与养生、运动和户外活动、娱乐、科技、购物和时尚等
4. 消费行为:消费心理、购买动机等。
定价策略:
精算定价: 保险、期货等对风险计算要求很高的行业
差异定价: 平台利用大数据对客户建立标签,分析对产品的使用习惯、需求判断客户的忠诚度,对不同客户进行差别定价
动态定价: 即根据顾客认可的产品、服务的价值或者根据供需状况动态调整服务价格,通过价格控制供需关系。动态定价在提高消费者价格感知和企业盈利能力方面起着至关重要的作用。
价格自动化 :根据商品成本、市场供需情况、竞争产品价格变动、促销活动、市场调查投票、网上协商、预订周期长短等因素决定自身产品价格
用户感知定价 :顾客所能感知到的利益与其在获取产品或服务中所付出的成本进行权衡后对产品或服务效用所做出的整体评价。
协同定价: 是大数据时代企业双边平台多边协同定价策略
价格歧视:
一级 :就是每一单位产品都有不同的价格,即商家完全掌握消费者的消费意愿,对每个消费者将商品价格定为其能够承受的最高出价;
二级 :商家按照客户的购买数量,对相同场景提供的、同质商品进行差别定价;
三级 :可视为市场细分后的定价结果,根据客户所处的地域、会员等级等个人属性进行差别定价,但是对于同一细分市场的客户定价一致。
五、销售促进与管理
促销组合设计概念
大数据促销组合设计流程
精准广告设计与投放
[if !supportLists]l [endif] 广告设计5M:任务(Mission),预算(Money),信息(Message),媒体(Media),测量(Measurement)。
通过用户画像的进一步挖掘分析,企业可以找出其目标消费群体的广告偏好,如平面广告的配色偏好,构图偏好,视频广告的情节偏好,配乐偏好,人物偏好等,企业可以根据这些偏好设计出符合目标消费群体审美的广告创意,选择消费者喜欢的广告代言人,做出能在目标消费群体中迅速传播开来的广告。
在媒体决策方面,利用大数据综合考虑其广告目的、目标受众覆盖率、广告信息传播要求、购买决策的时间和地点、媒体成本等因素后,有重点地采用媒体工具。企业可以在确定前述影响变量后,通过大数据的决策模型,确定相对最优的媒体组合。
六、客户管理
大数据在客户管理中的作用
1. 增强客户粘性
2. 挖掘潜在客户
3. 建立客户分类
客户管理中数据的分类、收集及清洗
数据分类:
描述性数据: 这类数据是客户的基本信息。
如果是个人客户,涵盖了客户的姓名、年龄、地域分布、婚姻状况、学历、所在行业、职业角色、职位层级、收入水平、住房情况、购车情况等;
如果是企业客户,则包含了企业的名称、规模、联系人和法人代表等。
促销性数据: 企业曾经为客户提供的产品和服务的历史数据。
包括:用户产品使用情况调查的数据、促销活动记录数据、客服人员的建议数据和广告数据等
交易性数据: 这类数据是反映客户对企业做出的回馈的数据。
包括历史购买记录数据、投诉数据、请求提供咨询及其他服务的相关数据、客户建议数据等。
收集:
清洗:
首先,数据营销人需要凭借经验对收集的客户质量进行评估
其次,通过相关字段的对比了解数据真实度
最后,通过测试工具对已经确认格式和逻辑正确数据进行测试
客户分层模型
客户分层模型 是大数据在客户管理中最常见的分析模型之一,客户分层与大数据运营的本质是密切相关的。在客户管理中,出于一对一的精准营销要求针对不同层级的客户进行区别对待,而客户分层则是区别对待的基础。
RFM客户价值分析模型
时间(Rencency):
客户离现在上一次的购买时间。
频率(Frequency):
客户在一定时间段内的消费次数。
货币价值(MonetaryValue):
客户在一定的时间内购买企业产品的金额。
七、 跨界营销
利用大数据跨界营销成功的关键点
1. 价值落地
2. 杠杠传播
3. 深度融合
4. 数据打通
八、精准营销
精准营销的四大特点
1. 可量化
2. 可调控
3. 保持企业和客户的互动沟通
4. 简化过程
精准营销的步骤
1. 确定目标
2. 搜集数据
3. 分析与建模
4. 制定战略
九、商品关联营销
商品关联营销的概念及应用
关联营销:
关联营销是一种建立在双方互利互益的基础上的营销,在交叉营销的基础上,将事物、产品、品牌等所要营销的东西上寻找关联性,来实现深层次的多面引导。
关联营销也是一种新的、低成本的、企业在网站上用来提高收入的营销方法。
关联分析的概念与定义
最早的关联分析概念: 是1993年由Agrawal、Imielinski和Swami提出的。其主要研究目的是分析超市顾客购买行为的规律,发现连带购买商品,为制定合理的方便顾客选取的货架摆放方案提供依据。该分析称为购物篮分析。
电子商务领域: 关联分析可帮助经营者发现顾客的消费偏好,定位顾客消费需求,制定合理的交叉销售方案, 实现商品的精准推荐 ;
保险公司业务: 关联分析可帮助企业分析保险索赔的原因,及时甄别欺诈行为;
电信行业: 关联分析可帮助企业发现不同增值业务间的关联性及对客户流失的影响等
简单关联规则及其表达式
事务:简单关联分析的分析对象
项目:事务中涉及的对象
项集:若干个项目的集合
简单关联规则 的一般表示形式是:前项→后项(支持度=s%,置信度=c%)
或表达为:X→Y(S=s%,C=c%)
例如:面包->牛奶(S=85%,C=90%)
性别(女)∩收入(>5000元)→品牌(A)(S=80%,C=85%)
支持度、置信度、频繁项集、强关联规则、购物篮分析模型
置信度和支持度
support(X→Y)= P(X∩Y)
confidence(X→Y)= P(Y|X)
十、评论文本数据的情感分析
商品品论文本数据挖掘目标
电商平台激烈竞争的大背景下,除了提高商品质量、压低商品价格外,了解更多消费者的心声对于电商平台来说也变得越来越有必要,其中非常重要的方式就是对消费者的文本评论数据进行内在信息的数据挖掘分析。评论信息中蕴含着消费者对特定产品和服务的主观感受,反映了人们的态度、立场和意见,具有非常宝贵的研究价值。
针对电子商务平台上的商品评论进行文本数据挖掘的目标一般如下:
分析商品的用户情感倾向,了解用户的需求、意见、购买原因;
从评论文本中挖掘商品的优点与不足,提出改善产品的建议;
提炼不同品牌的商品卖点。
商品评论文本分析的步骤和流程
商品评论文本的数据采集、预处理与模型构建
数据采集:
1、“易用型”:八爪鱼、火车采集器
2、利用R语言、Python语言的强大程序编写来抓取数据
预处理:
1文本去重
检查是否是默认文本
是否是评论人重复复制黏贴的内容
是否引用了其他人的评论
2机械压缩去词
例如: “好好好好好好好好好好”->“好”
3短句删除
原本过短的评论文本 例如:很“好好好好好好好好好好”->“好”
机械压缩去词后过短的评论文本 例如:“好好好好好好好好好好”->“好”
4评论分词
文本模型构建包括三方面:情感倾向分析、语义网络分析、基于LDA模型的主体分析
情感倾向分析:
基于情感词进行情感匹配
对情感词的倾向进行修正
对情感分析结果进行检验
语义网络分析:
基于LDA模型的主体分析
十一、大数据营销中的伦理与责任
大数据的安全与隐私保护
数据安全:一是保证用户的数据不损坏、不丢失;二是要保证数据不会被泄露或者盗用
大数据营销中的伦理风险:用户隐私、信息不对称下的消费者弱势群体、大数据“杀熟”
大数据伦理困境的成因:
用户隐私意识淡薄
用户未能清晰认知数据价值
企业利益驱使
] 管理机制不够完善
大数据伦理构建的必要性:企业社会责任、用户与社会群体的维系
这些是我按照老师讲的课本上的内容结合PPT总结出来的《大数据营销》的重点。
大数据应用案例之:医疗行业
Seton Healthcare是采用IBM最新沃森技术医疗保健内容分析预测的首个客户。该技术允许企业找到大量病人相关的临床医疗信息,通过大数据处理,更好地分析病人的信息。
在加拿大多伦多的一家医院,针对早产婴儿,每秒钟有超过3000次的数据读取。通过这些数据分析,医院能够提前知道哪些早产儿出现问题并且有针对性地采取措施,避免早产婴儿夭折。
它让更多的创业者更方便地开发产品,比如通过社交网络来收集数据的健康类App。也许未来数年后,它们搜集的数据能让医生给你的诊断变得更为精确,比方说不是通用的成人每日三次一次一片,而是检测到你的血液中药剂已经代谢完成会自动提醒你再次服药。
大数据应用案例之:能源行业
智能电网现在欧洲已经做到了终端,也就是所谓的智能电表。在德国,为了鼓励利用太阳能,会在家庭安装太阳能,除了卖电给你,当你的太阳能有多余电的时候还可以买回来。通过电网收集每隔五分钟或十分钟收集一次数据,收集来的这些数据可以用来预测客户的用电习惯等,从而推断出在未来2~3个月时间里,整个电网大概需要多少电。有了这个预测后,就可以向发电或者供电企业购买一定数量的电。因为电有点像期货一样,如果提前买就会比较便宜,买现货就比较贵。通过这个预测后,可以降低采购成本。
维斯塔斯风力系统,依靠的是BigInsights软件和IBM超级计算机,然后对气象数据进行分析,找出安装风力涡轮机和整个风电场最佳的地点。利用大数据,以往需要数周的分析工作,现在仅需要不足1小时便可完成。
大数据应用案例之:通信行业
XO Communications通过使用IBM SPSS预测分析软件,减少了将近一半的客户流失率。XO现在可以预测客户的行为,发现行为趋势,并找出存在缺陷的环节,从而帮助公司及时采取措施,保留客户。此外,IBM新的Netezza网络分析加速器,将通过提供单个端到端网络、服务、客户分析视图的可扩展平台,帮助通信企业制定更科学、合理决策。
电信业者透过数以千万计的客户资料,能分析出多种使用者行为和趋势,卖给需要的企业,这是全新的资料经济。
中国移动通过大数据分析,对企业运营的全业务进行针对性的监控、预警、跟踪。系统在第一时间自动捕捉市场变化,再以最快捷的方式推送给指定负责人,使他在最短时间内获知市场行情。
NTT docomo把手机位置信息和互联网上的信息结合起来,为顾客提供附近的餐饮店信息,接近末班车时间时,提供末班车信息服务。
大数据应用案例之:零售业
"我们的某个客户,是一家领先的专业时装零售商,通过当地的百货商店、网络及其邮购目录业务为客户提供服务。公司希望向客户提供差异化服务,如何定位公司的差异化,他们通过从 Twitter 和 Facebook 上收集社交信息,更深入的理解化妆品的营销模式,随后他们认识到必须保留两类有价值的客户:高消费者和高影响者。希望通过接受免费化妆服务,让用户进行口碑宣传,这是交易数据与交互数据的完美结合,为业务挑战提供了解决方案。"Informatica的技术帮助这家零售商用社交平台上的数据充实了客户主数据,使他的业务服务更具有目标性。
零售企业也监控客户的店内走动情况以及与商品的互动。它们将这些数据与交易记录相结合来展开分析,从而在销售哪些商品、如何摆放货品以及何时调整售价上给出意见,此类方法已经帮助某领先零售企业减少了17%的存货,同时在保持市场份额的前提下,增加了高利润率自有品牌商品的比例。
比方你最近想买一个商品,然后在百度、京东或淘宝中查找了某个关键字,其实这些行为数据都被搜集起来了,因为有很多人的行为数据,一切后台要进行大量的数据剖析,构建用户画像和使用一些引荐算法,然后进行个性化的引荐,当你登录到一些网站上时,你会发现有一些广告,引荐的一些正好是你要买的一些商品。
二、内容引荐
比方你刷今日头条,头条会搜集你曾经的阅读行为数据,然后根据你的喜好构建一个你专属的用户画像或一类人的画像,然后给你引荐你喜欢的新闻,比方你曾经点击过詹姆斯相关的新闻,就给你引荐NAB相关的新闻。因为头条用户很多,要剖析的数据量就非常大,一切要使用大数据的手法来处理。
三、餐饮行业
快餐业的视频剖析。该公司通过视频剖析等候行列的长度,然后主动改变电子菜单显现的内容。假如行列较长,则显现能够快速供给的食物假如行列较短,则显现那些利润较高但准备时间相对长的食物。
四、教育范畴应用
百度大脑PK人脑:大数据押高考作文题。为了协助考生更好地备考,百度高考作文猜测通过对过去八年高考作文题及作文范文、海量年度查找风云热词、历年新闻热点等原始数据与实时更新的“活数据”进行深度发掘剖析,以“概率主题模型”模拟人脑思考,反向推导出作文主题及相关词汇,为考生猜测出高考作文的命题方向。
五、医疗范畴
智慧淮医。淮安市选用IBM大型主机作为淮安市区域卫生信息渠道根底架构支撑,满意了淮安市在市级区域卫生信息渠道根底渠道建造和居民健康档案信息系统建造进程中的需求,支撑淮安市级数据中心、居民健康档案数据库等一系列淮安市卫生信息化应用,支持淮安成为全国“智慧医疗”的典范。