分布式系统之一:分布式事务和一致
本文是分布式系统系列第一篇文章,介绍了事务,和在分布式系统中面临的事务挑战。介绍了一些现有的理论和解决算法
本文是分布式系统系列第一篇文章,介绍了事务,和在分布式系统中面临的事务挑战。介绍了一些现有的理论和解决算法
本文是分布式系统系列之二,简单讨论下,在分布式系统中,数据如何分布。日常使用的数据中间件,例如Redis、zookeeper、各种数据库、ElasticSearch、kafka都有集群模式,而集群模式就涉及到数据的分片,和备份。分片涉及到分片算法,而备份就涉及到一致性问题
介绍Spring中@TransactionalEventListener的使用场景,和针对事务一致性的解决方案
这里结合我自身的学习经历,和最近的学习感触,简单聊一下,我对学习这件事情的看法
之前业务接触的开放API使用了数字签名进行加密和验证,在查看代码的过程中,又好奇之前看的HTTPS的验证过程。这里简单从两个服务信息交互的信息安全,一步步了解加密、数字签名的必要性,初步介绍下HTTPs的实现
最近有一个实际的场景需求,需要实时统计总数,于是想到了flink,从入门到实战,整个过程中一直不断的思考实际业务中的问题,在flink中如何解决,与kafka-stream的对比和spark的对比等等。 整个思考和写出demo的过程中,对window机制有了深入的了解,并通过阅读flink java client的源码,了解了其trigger的实现。 本文从实际需求出发,通过提出问题解决问题,结合源码了解flink。
鉴于之前在网上搜索相关spring-kafka的教程,有些杂乱,没有头绪,所以参考Spring-kafka的文章,尝试总结一下。 记得有一句话:不要阅读二手的资料,对于框架来说,最好的资料就是文档(当然不排除有些文档写的不好,没有系统性or不全面),但是spring的文档相对来说都很全面,接触spring-kafka之初,就花了两三天全面读了一下文档,结合coding实践,快速了解了使用和常见的问题,强烈建议遇到问题的情况下,阅读一下原文档,能有一个更系统的认知
本文主要介绍kafka原生api的使用,关于kafka apache官方的文档页面只有简单的说明,不过所有的使用说明都在apache kafka java doc文档页面,每个类的文档都有详细的使用说明,源码中也有详细的注释。
本文主要介绍Kafka中的topic、partition、offset,在kafka java使用consumer时,高级消费和低级消费不同场景下的区别,通过本文,大致能够了解kafka是怎么保证至少消费一次,以及什么情况下会出现重复消费和丢失数据
本文是系列教程kafka入门教程的第一篇,介绍了kafka的基础概念:topic、partition、broker、consumer、consumer group和producer
从买完房子后,就一直零零散散的在了解装修有关的知识。由于是毛坯房,堪称是自出生以来接手的最大项目,涉及的知识点太多了。小白一开始遇到的第一个问题就是:装修的流程是什么样的? 本文给买了房子、还未交付的朋友,一览装修的全貌,以及最开始如何准备起来,一起打造心目中的新房!
继承第一篇文章,买NAS最重要的就是旁路网关。最开始在sony tv上直接用clash,性能也是足够的,但是必须用全局模式,偶尔nf增加了新的ip,也看不出来。 后来在主路由er-x部署clash,电视clash设置socks5全局链接er-x。可以通过clash日志捕获漏网的ip加到规则上。不知道是否是er-x的性能问题,偶尔出现画质有点差。 最好还是部署旁路网关,电视网关指向旁路网关,充分利用nas的性能,电视也解脱了。
618入手了一台威联通T264C,入手之初就设想好了用途,但是刚开始折腾opwnert就发现了问题:虚拟机太耗费资源,docker的教程很少且不是针对nas的,自己研究了一下改成docker部署。 这里介绍最开始的准备:创建docker网络,方便后续应用固定ip
最近新房折腾网络,入手了一个er-x,过年父母过来,不会使用电视,就考虑使用vpn服务回家实现一个局域网。折腾下来最后选择了wireguard,强烈推荐!OpenVPN还是太复杂了
session和cookie应该是刚入行的时候做网站就会接触的概念,很早之前整理过一次,最近在接手用户系统的需求时,处理sso相关的时候,又想到了这个。翻看之前整理的实在是太乱了,有些含混不清,基于当前的理解重新整理了一下,顺便补充了JWT的内容
最近新房装修,迫于在出租屋,受够了各种网络卡顿,布线不合理导致各种走明线(现在想起来是我不懂已有布线,不会组导致的)。同时,希望房子里面各房间的WIFI信号都要好,同时有科学上网的需求,所以研究了几天的家庭组网相关的知识。
之前公司曾使用布隆过滤器对同一时间采集的大量数据去重,最近刚好有个业务也需要,就整理一下之前的笔记,顺带介绍一下刚了解到的布谷鸟过滤器
之前一直对区块链和比特币感兴趣,但是知其然不知其所以然,刚好看到极客时间的相关文章,总结一下。
之前一直做部署和数据库的工作,很少直接写接口。新工作天天写接口,虽然之前也粗看过接口验证@Valid和@Validated的介绍,但是实践起来还是有几个迷惑的地方: 1. @Validated和@Valid什么时候可以通用? 2. @Validated和@Valid有什么区别 3. 为什么有的时候验证会失效? 然后抽空看了一些文章,自己测试了一些,看看源码的注释,作了以下总结。
日常开发,团队使用Swagger+API-Mocker进行接口的管理,但是自测接口要一个个添加到postman中,使用postman导入功能,每次导入都会创建新的collection,不能保留以前写的测试用例,例如request body或者url parameter。 因此开发了此工具,用于导入swagger到postman,每次导入会和已有的collection进行合并。