[置顶] mybatis中文文档
学习和研究mybatis框架，我一般会参考mybatis中文文档，这是mybatis官方维护的一份指导学习文档，具有权威性：https://mybatis.org/mybatis-3/zh/index.html此文档开头会标明mybatis当前最新版本号：mybatis中文文档分为以下几个部分：XML配置：https://mybatis.org/myb...
Flink SQL 入门介绍
Flink SQL 背景Flink SQL 是 Flink 实时计算为简化计算模型，降低用户使用实时计算门槛而设计的一套符合标准 SQL 语义的开发语言。Flink SQL 是面向用户的 API 层，在我们传统的流式计算领域，比如 Storm、Spark Streaming 都会提供一些 Function 或者 Datastream API，用户通过 ...
Flink 窗口
在流处理应用中，数据是连续不断的，因此我们不可能等到所有数据都到了才开始处理。虽然Flink可以做到每来一个消息就处理一次，但是更多时候我们需要做一些聚合类的处理，例如：在过去的1分钟内有多少用户访问了我们的网页，所以Flink引入了窗口（Window）概念。窗口将一个无限数据流拆分成有限的数据集合（在Flink中简称为“桶”），并使得我们很方便地在上...
XPath路径选择
XPath使用路径表达式来选取XML文档中的节点或节点集。1、常用的路径表达式下面列出了最有用的路径表达式：
路径
描述
nodename
选取此节点，以及其包括的所有子节点。
/
从根节点选取。
//
从匹配选择的当前节点选择文档中的节点，而不考虑它们的位置。
.
选取当前节点。
..
选取当前节点的父节点。
...
升级架构师之路的踩坑系列三
最近几年陆陆续续带徒，培养目标是架构师。我个人觉得，计算机行业属于知识密集型的产业，不仅要掌握大量的知识，当做底子当做基础，还得会学习，有强大的学习能力，这样才能成为架构师。第一个问题是：如何积累大量的知识？其实并没有什么窍门可言。专注一点，把力用到刀刃上，这样积累的速度会很快。我曾经以maven的学习做过例子演示过，这里就不再赘述了。但是，需要提醒一...
Flink和Spark对比
Flink和Spark对比Flink是标准的实时处理引擎，基于事件驱动。而Spark Streaming是微批（Micro-Batch）的模型。Flink的时间延迟是毫秒级别，而Spark则是秒级别的。虽然在Spark2.3版中引入了一个持续流处理模型，将流处理延迟降至毫秒级。但是现在只支持很有限的功能，并不能在大的项目中使用。Flink天生就是为流计...
UC Berkeley AMPLab 简介
UC Berkeley 全称是：University of California, Berkeley，加利福尼亚大学伯克利分校，简称伯克利。AMPLab是旗下的大数据实验室，AMP的缩写代表着"Algorithms, Machines, and People"。1、AMPLab 诞生背景在大数据的背景下，我们对这个世界的理解越发的变成了理解数据，并将数...
flink 水印作用
flink 水印作用：告知窗口，数据集合完毕，可以启动计算。由于消息可能是乱序的，所以flink操作符无法直接确认何时所有属于该时间窗口的消息全部流入此操作符，从而无法执行计算过程。这个问题可以通过WaterMark机制来解决。Flink的数据源在确认所有小于某个时间戳的消息都已输出到Flink流处理系统后，会生成一个包含该时间戳的WaterMark，...
flink水印触发窗口的机制
flink水印触发窗口的机制水印（watermark）就是一个时间戳 ，Flink可以给数据流添加水印，可以理解为：收到一条消息后，额外给这个消息添加了一个时间字段，这就是添加水印。水印并不会影响原有Event Time。一般会设置水印时间比Event Time小几秒钟。当接收到的消息一直到水印时间 >= 窗口的 endTime ，则触发计算。
flink 水印 迟到的数据
Flink水印基于事件时间。所谓事件时间，就是Flink DataStream中的数据元素自身带有的、在其实际发生时记录的时间戳，具有业务含义，并与系统时间独立。很显然，由于外部系统产生的数据往往不能及时，不能按序到达Flink系统，所以事件时间比处理时间有更强的不可预测性。为了能够准确地表达事件时间的处理进度，就必须用到水印。Flink水印的本质是D...
flink 水印 时间戳
flink水印就是一个时间戳flink水印就是一个时间戳，它给每个消息添加一个允许一定延迟的时间戳。窗口可以继续计算一定时间范围内延迟的消息，添加水印后，窗口会等 n 秒，再执行计算。若超过 n 秒，则舍弃。窗口执行计算时间由 水印时间 来触发，当接收到消息的 watermark >= endtime ，触发计算。Flink提供添加水印的API如...
flink watermark的原理和本质
在Flink中，watermark称为水位线或水印，是flink为流式数据每隔一段时间打上的一个标记。watermark 通过额外的时间戳来控制窗口激活的时间，主要是为了解决数据乱序到达的问题。flink可以每来一个消息就处理一次，但是有时我们需要做一些聚合类的处理，例如：在过去的1分钟内有多少用户点击了我们的网页。聚合类处理带来了新的问题，比如乱序/...
flink事件时间引起的问题
Flink引入了事件时间（eventTime）这个重要概念，从而提升数据统计的准确性。但是，引入事件时间后在具体业务实现时存在一些问题必需要合理去解决，否则会造成非常严重的问题。事件时间存在什么样的问题呢？下面先看一个简单的业务场景。比如：要统计APP上搜索按钮每1分钟的点击次数，通常我们是这样设计如下水印处理器：public static class...
flink事件时间概念
Flink根据时间产生的位置不同，将时间区分为三种时间概念：事件时间、接入时间、处理时间。Event Time 事件时间Event Time指的是数据流中每个元素或者每个事件自带的时间属性，一般是事件发生的时间。由于事件从发生到进入Flink时间算子之间有很多环节，一个较早发生的事件因为延迟可能较晚到达，因此使用Event Time意味着事件到达有可能...
Flink的时间语义
备注：本文来源于互联网，做了部分修订。在流处理中，时间是一个非常核心的概念，是整个系统的基石。我们经常会遇到这样的需求：给定一个时间窗口，比如一个小时，统计时间窗口内的数据指标。那如何界定哪些数据将进入这个窗口呢？在窗口的定义之前，首先需要确定一个作业使用什么样的时间语义。Flink的三种时间语义：Event Time、Processing Time和...
算子
算子是一个函数空间到函数空间上的映射O：X→X。广义的讲，对任何函数进行某一项操作都可以认为是一个算子，包括求幂次，开方都可以认为是一个算子。本质上来说，算子就是映射，就是变换。备注：这里提到了“函数”，而关于函数的定义则更为曲折，大学高数上轻描淡写的定义难以揭示人类探索数学文明的艰辛。函数的定义通常分为传统定义和近代定义，函数的两个定义本质是相同的，...
[北侠大数据联盟APP]-[V3.0版本]
前言如今，北侠大数据联盟APP已经进化到3.0版本了，欢迎大家的关注。V1.0版本的口号是：每天5分钟学习数据结构，sql，分布式，大数据。V2.0版本的口号是：从纷扰中抽身，让内心获得安宁。V3.0版本的口号是：构建行业规范，打造技术空间之“基”，促进IT从业者的快速成长，降低小微企业的招聘难度。提醒北侠大数据联盟APP，主要是以数据存储和数据分析为...
flutter path_provider 插件介绍
1、path_provider插件的官方讲解https://pub.flutter-io.cn/packages/path_provider2、path_provider插件的安装首先，添加依赖，在pubspec.yaml文件下添加，如下所示：dependencies:
path_provider: ^1.6.9然后，在终端运行flutter pa...
flutter dart 判断文件是否存在
File pdf = File('/data/data/cn.mybatis/app/shell.pdf');var exist = await pdf.exists(); if(exist){......}
谈谈网易给大数学家丘成桐捐赠的6600万元
近日，网易宣布向由知名数学家丘成桐院士发起的“北京丘成桐科学基金会”捐赠6600万人民币，以支持国家数学科研及人才建设。本来，这是一件好事，企业挣老百姓的钱，然后拿出一部分回馈社会，值得点赞。但是，接下来的一幕则更值得玩味：接下来，网易有道将与丘成桐团队在人工智能和基础教育等方向展开多维度合作探讨。人工智能方面，网易有道将与丘成桐数学科学中心成立联合实...
《Flink原理与实践》高清完整PDF版 下载
1、封面介绍2、出版时间2021年2月3、推荐理由本书一方面对Flink的技术架构做了深入的介绍，另一方面涵盖了Flink大多数API，本书每章都提供了一些实践案例和习题训练，帮助读者了解、上手和熟悉Flink技术。与其他中文Flink图书相比，本书从初学者角度出发，结合相关案例，深入浅出，有助于读者学懂学会Flink。本书围绕大数据流处理领域，介绍F...
