順子の杂货铺

2026-03-20shunzi阅读(14)评论(0)赞(0)

机器学习算法集成 本篇是《大数据算法与UDF系列》的第10篇（最终篇），讲解Spark MLlib中的常用机器学习算法，包括K-Means聚类和线性回归，以及如何在实际业务中应用。 1. MLlib简介 1.1 什么是Spark MLlib...

2026-03-20shunzi阅读(12)评论(0)赞(0)

图算法PageRank 本篇是《大数据算法与UDF系列》的第9篇，深入讲解PageRank算法的原理，以及如何使用Spark GraphX进行大规模图计算。 1. PageRank简介 1.1 背景故事 PageRank由Google创始人...

2026-03-20shunzi阅读(13)评论(0)赞(0)

数据加密与编码 本篇是《大数据算法与UDF系列》的第8篇，讲解大数据场景下的数据加密、哈希、编码和脱敏技术。 1. 常用加密算法 1.1 算法分类 ┌─────────────────────────────────────────────...

2026-03-20shunzi阅读(13)评论(0)赞(0)

字符串模糊匹配 本篇是《大数据算法与UDF系列》的第7篇，讲解常见的字符串相似度算法，以及在大数据场景下如何实现高效的模糊匹配。 1. 业务场景 1.1 为什么需要模糊匹配？ ┌───────────────────────────────...

2026-03-20shunzi阅读(13)评论(0)赞(0)

布隆过滤器与去重 本篇是《大数据算法与UDF系列》的第6篇，讲解布隆过滤器（Bloom Filter）的原理、实现，以及在大数据去重场景中的应用。 1. 什么是布隆过滤器？ 1.1 概念介绍 布隆过滤器是一种空间效率极高的概率数据结构，用于...

2026-03-20shunzi阅读(13)评论(0)赞(0)

近似算法HyperLogLog 本篇是《大数据算法与UDF系列》的第5篇，讲解大数据中的基数估计神器——HyperLogLog（HLL），它可以用极小的空间计算亿级UV数据。 1. 什么是基数估计？ 1.1 问题背景 在数据分析中，经常需要...

2026-03-20shunzi阅读(12)评论(0)赞(0)

时间窗口实战 本篇是《大数据算法与UDF系列》的第4篇，深入讲解时间窗口的三大类型（滚动、滑动、会话），以及Flink流处理中的迟到数据处理和Watermark机制。 1. 什么是时间窗口？ 1.1 业务场景 在实时数据分析中，我们经常需要...

2026-03-20shunzi阅读(13)评论(0)赞(0)

聚合与TopN问题 本篇是《大数据算法与UDF系列》的第3篇，深入讲解聚合函数的底层原理，以及大数据场景下TopN问题的各种解法。 1. 聚合函数基础 1.1 什么是聚合？ 聚合（Aggregation） 是将多行数据压缩成一行或多行的操作...