小旋锋 的博客

专注于大数据,Java后端类技术分享。记录一名平凡的程序猿的技术成长之路

MySQL Binlog 解析工具 Maxwell 详解

maxwell 简介 Maxwell是一个能实时读取MySQL二进制日志binlog,并生成 JSON 格式的消息,作为生产者发送给 Kafka,Kinesis、RabbitMQ、Redis、Google Cloud Pub/Sub、文件或其它平台的应用程序。它的常见应用场景有ETL、维护缓存、收...

2019-03-11 09:56:44

阅读数 117

评论数 0

MySQL Binlog 介绍

Binlog 简介 MySQL中一般有以下几种日志: 日志类型 写入日志的信息 错误日志 记录在启动,运行或停止mysqld时遇到的问题 通用查询日志 记录建立的客户端连接和执行的语句 二进制日志 记录更改数据的语句 中继日志 从复制主服务器接收的数据更改 慢查询日...

2019-03-09 23:54:32

阅读数 35

评论数 0

写给工程师的十条精进原则

本文转载自:美团技术团队(公众号ID:meituantech)    作者:云鹏 引言 时间回到8年前,我人生中的第一份实习工作,是在某互联网公司的无线搜索部做一个C++工程师。当时的我可谓意气风发,想要大干一场,结果第一次上线就写了人生中第一个Casestudy。由于对部署环境的不了解...

2019-01-30 23:13:48

阅读数 1091

评论数 0

利用Zookeeper实现 - 分布式锁

微信原文: 利用Zookeeper实现 - 分布式锁 博客原文:利用Zookeeper实现 - 分布式锁 在许多场景中,数据一致性是一个比较重要的话题,在单机环境中,我们可以通过Java提供的并发API来解决;而在分布式环境(会遇到网络故障、消息重复、消息丢失等各种问题)下要复杂得多,常见的解...

2019-01-28 22:55:52

阅读数 612

评论数 1

利用Zookeeper实现 - 数据发布订阅

原文始发于:利用Zookeeper实现 - 数据发布订阅 数据发布/订阅 所谓的数据发布/订阅,意思是发布者将数据发布到Zookeeper上的一个或一系列节点上,通过watcher机制,客户端可以监听(订阅)这些数据节点,当这些节点发生变化时,Zookeeper及时地通知客户端,从而达到动态获...

2019-01-24 02:25:06

阅读数 725

评论数 3

利用Zookeeper实现 - Master选举

原文始发于:利用Zookeeper实现 - Master选举 Zookeeper 是一个高可用的分布式数据管理与协调框架,基于ZAB协议算法的实现,该框架能够很好的保证分布式环境中数据的一致性。Zookeeper的典型应用场景主要有:数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管...

2019-01-23 00:21:12

阅读数 1015

评论数 3

Zookeeper 分布式协调服务介绍

公众号原文:Zookeeper 分布式协调服务介绍 博客原文:Zookeeper 分布式协调服务介绍 分布式系统 分布式系统的简单定义:分布式系统是一个硬件或软件组件分布在不同的网络计算机上,彼此之间仅仅通过消息传递进行通信和协调的系统。 分布式系统的特征: 分布性:系统中的计算机在空间上随...

2019-01-21 23:02:04

阅读数 742

评论数 0

分布式系统 | CAP 定理图解

博客原文:分布式系统 | CAP 定理图解 CAP定理是分布系统中的一个基本定理,它指出任何分布系统最多可以具有以下三个属性中的两个。 一致性 (Consistency) 可用性 (Availability) 分区容错性 (Partition tolerance) 本文将以图解的形式简明地...

2019-01-16 01:57:01

阅读数 809

评论数 3

设计模式 | 解释器模式及典型应用

微信原文:设计模式 | 解释器模式及典型应用 博客原文:设计模式 | 解释器模式及典型应用 本文主要介绍解释器模式,在日常开发中,解释器模式的使用频率比较低 解释器模式 解释器模式(Interpreter Pattern):定义一个语言的文法,并且建立一个解释器来解释该语言中的句子,这里的 “...

2019-01-13 23:47:54

阅读数 796

评论数 1

ArrayList 源码分析

公众号原文:ArrayList 源码分析 博客原文:ArrayList 源码分析 以下源码分析使用的 Java 版本为 1.8 1. 概览 ArrayList 是基于数组实现的,继承 AbstractList, 实现了 List、RandomAccess、Cloneable、Serializa...

2019-01-09 22:49:32

阅读数 601

评论数 0

Elasticsearch源码分析 | 单节点的启动和关闭

本文主要简要介绍Elasticsearch单节点的启动和关闭流程。Elasticsearch版本:6.3.2 相关文章 1、Google Guice 快速入门 2、Elasticsearch 中的 Guice 3、教你编译调试Elasticsearch 6.3.2源码 4、Elasticsearc...

2019-01-08 02:10:44

阅读数 921

评论数 1

设计模式 | 单例模式及典型应用

单例是最常见的设计模式之一,实现的方式非常多,同时需要注意的问题也非常多。 本文主要内容: 介绍单例模式 介绍单例模式的N中写法 单例模式的安全性 序列化攻击 反射攻击 单例模式总结 介绍单例模式的典型应用 单例模式 单例模式(Singleton Pattern):确保某一个类只有一个实...

2019-01-07 01:39:54

阅读数 867

评论数 2

Java 动态代理详解

博客原文:http://laijianfeng.org/2018/12/Java-动态代理详解/ 动态代理在Java中有着广泛的应用,比如Spring AOP、Hibernate数据查询、测试框架的后端mock、RPC远程调用、Java注解对象获取、日志、用户鉴权、全局性异常处理、性能监控,甚...

2018-12-21 01:56:25

阅读数 688

评论数 1

Java反射机制详解

原文:http://laijianfeng.org/2018/12/Java反射机制详解/ 对于一般的开发者,很少需要直接使用Java反射机制来完成功能开发,但是反射是很多框架譬如 Spring, Mybatis 实现的核心,反射虽小,能量却很大。 本文主要介绍反射相关的概念以及API的使用,...

2018-12-19 02:31:08

阅读数 1147

评论数 1

Spark SQL 分析 Nginx 访问日志

前言 项目地址 github: Spark SQL 分析 Imooc 访问日志 环境说明 Java版本:1.8 Scala版本:2.11.12 Hadoop版本:hadoop-2.6.0-cdh5.14.0 spark版本:spark-2.3.1-bin-2.6.0-cdh5.14.0(自己编译...

2018-12-16 23:11:42

阅读数 888

评论数 0

基于ELK 的 Apache 日志可视化分析

Apache日志可视化分析 项目地址:https://github.com/whirlys/Elastic-In-Practice/tree/master/apache_log_demo 在网站的运营过程中,网站访问者的各种信息对于网站运营者来说,是非常有价值的信息。而网站日志则是这些信息的来...

2018-12-05 00:15:41

阅读数 1252

评论数 0

MapReduce 计算气温最大/最小/平均值

本实验来自于 《Hadoop权威指南》第4班 第2章 项目地址:https://github.com/whirlys/BigData-In-Practice/tree/master/ch2noaa 前置条件 安装好Java、maven、Hadoop等环境 美国国家气候数据中心-气象数据集下载...

2018-11-27 00:16:59

阅读数 852

评论数 0

Java代码是怎么运行的?

极客时间《深入拆解Java虚拟机》学习笔记 课程地址:http://gk.link/a/1018S 个人博客:http://laijianfeng.org Java 和 C++ 在运行方式上的区别? Java 代码有很多种不同的运行方式,比如在开发工具中运行、双击执行 jar 文件运行、在命令...

2018-11-06 00:52:56

阅读数 462

评论数 0

为什么我们要学习Java虚拟机?

《深入拆解Java虚拟机》学习笔记 专栏地址:http://gk.link/a/1018S Java 技术体系结构 Java虚拟机(Java Virtual Machine 简称 JVM)是运行所有Java程序的抽象计算机,是Java语言的运行环境,它是Java 最具吸引力的特性之一。 Ja...

2018-11-05 22:13:38

阅读数 786

评论数 0

一个大学消息通知系统

GitHub地址:https://github.com/whirlys/ntim 一个个人完成的不成熟的学生课程设计作品,仅供参考,Netty聊天部分主要修改自 qiqiim-server (题目源于自己一个想改善大学消息通知效率的一个想法,所有功能都是自己DIY的,也许并不可行) ...

2018-11-04 23:23:07

阅读数 815

评论数 0

提示
确定要删除当前文章?
取消 删除