晓风妮紫大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。

　　埋点数据是用户在使用产品过程中产生的一系列行为日志，比如用户使用抖音过程中点击、滑动等操作。对了解用户、优化业务来说，用户行为日志是非常重要的数据来源。

　　大数据架构师一定要弄清楚Fair Scheduler和Capacity Scheduler

　　如果是中小型集群，上千节点以内，资源比较紧张，建议使用Fair Scheduler,配置简单，对资源的使用效率也高。相比Fair Scheduler更加灵活，允许作业使用群集中未使用的资源。它通过基于定义的权重来给任务的公平抢占和稳定提供保证。对于中小型集群，这是一个很好的默认设置。

　　2022年第十七届中国企业年终评选榜单揭晓：亿万克分布式存储在大型数据仓库的解决方案荣获2022年度 IT行业优秀解决方案奖

　　截止到2022年12月28日，激扬创新动能，掘金数字时代｜2022年第十七届中国企业年终评选榜单正式揭晓。亿万克分布式存储在大型数据仓库的解决方案凭借其良好的扩展能力、高可靠性及数据安全性，荣获2022年度 IT行业优秀解决方案奖。

　　ClickHouse目的在于压榨单机性能，并没有真正的分布式表，数据都在本地，这也使得ClickHouse不需要复杂的调度，直接在本机执行SQL即可。而Hive的数据都在HDFS上，在真正任务前需要依据数据分布确定更复杂的物理计划，然后将Spark程序调度到对应的Data Node上，调度的过程非常消耗时间。

　　12月15日，在第三届银行业数字化创新（中国）峰会上，中电金信“源启数据资产平台”正式发布。该平台是中国电子金融级数字底座“源启”的重要组成，基于DataOps和DataFabric理念，以数据资产积累和数据价值创造为目标，利用大数据技术、AI技术以及数据安全技术，打造集数据管控平台、数据中台和AI平台为一体的数据智能底座。

　　流处理最初是一种“特定群体”技术。但随着 SaaS、物联网和机器学习的快速发展，各行各业的组织现在都在试行或全面实施流分析。很难找到一家没有应用程序、在线广告、电子商务网站或物联网产品的现代公司。这些数字资产中的每一个都会创建实时事件数据流。人们越来越渴望整合流式数据基础架构，从而使复杂、强大和实时的分析成为可能。

　　在巨大的数据量面前，想追求极致的性能及全部场景适应性，必须在某些技术方案上进行取舍。ClickHouse从底层列式存储到上层向量化并行计算，都没有考虑存算分离、弹性扩展的技术方案，甚至于横向扩容数据需要手动re-balance。因此，如果要实现云上的可动态伸缩、存算分离，ClickHouse需要重构底层代码。