日志安全分析方案梳理一二

业界方向

随着大数据技术的发展和各类依赖性技术的提高,日志分析系统已经由原来的分散存储、事后追查发展到统一收集、实时搜索和流式处理。

就目前而言,ELK在日志收集和查阅上已经占据了优势地位,其他同类型系统如Splunk等所占份额均在萎缩。又基于高可用和性能的需求,引入了KAFKA集群作为消息队列服务。同类型系统还有Flume,此处不对其原理和实现进行分析。

在日志分析上,分布式实时流处理已经是趋势,目前业界流行的有Storm、Spark Streaming、Samza、Flink等,份额及综合实力(包括但不限于背后开发商、文档和资料、语言优势、性能)占优的是Storm和Spark Streaming。以下详细针对这两个框架进行阐述:

Continue reading “日志安全分析方案梳理一二”

日志安全分析方案梳理一二

ArchSummit深圳站学习笔记 – Part 2

腾讯海量监控包袱与创新

主讲人及背景

腾讯 社交网络事业群运营总监 聂鑫

    • 从开发到运维,伴随腾讯社交网络运营部成长的十年,负责过腾讯社交产品所有业务运维工作。
    • 目前主要负责 QQ、空间等产品运维团队管理工作。经历多个业务产品的诞生到蓬勃,伴随着运维团队的成长和成熟,见证着腾讯一代代运营技术的创新和发展。
  • 作为运维界老兵有好多故事想和大家讲,也特别愿意听听各位经历的酸甜苦辣。

Continue reading “ArchSummit深圳站学习笔记 – Part 2”

ArchSummit深圳站学习笔记 – Part 2

ArchSummit深圳站学习笔记 – Part 1

小米监控运维之路

主讲人及背景

小米 云平台工程师 陈帅

    • 多年从事于监控系统、部署系统、缓存系统的研发工作,热衷于自动化运维理念,独立完成公司部署系统的设计和研发,多次参与中国移动等竞标缓存系统的设计工作。
  • 加入小米后,专注于小米监控的设计和研发工作,对于监控系统的应用场景和实践有较深入的理解。

Continue reading “ArchSummit深圳站学习笔记 – Part 1”

ArchSummit深圳站学习笔记 – Part 1

上上下下左右左右BABA

这篇,酝酿了很久,题目想了半个小时。提笔。

记事之初

在我很小的时候就开始接触游戏。应该是在01年小二,某日下午,父亲带着一个键盘类似的东西回家。拆开包装,那会还不会意识到,这个东西,会陪伴我度过此后如此漫长的岁月。

小霸王其乐无穷。因为一些原因,我们这个年代接触到的并不是原生红白机。当然,这是后话。也并不妨碍FC游戏成为我们的回忆。第一个接触的游戏就是超级玛丽。其实那会儿记忆并不深刻,只是依稀记得并不能很好控制手柄。慢慢的,周围小伙伴都开始玩起了游戏机,我们会相约放学的下午,一起去某个大人不在的同学家,开开心心打上一下午,这些是我游戏最初始的记忆。

FC游戏

有很多东西,就像曾经被不良少年在校门出去左手边第一个巷子抢了你准备用来买冰棍的五毛钱一样深刻。一如,超级玛丽1-3的隐藏通道到4-1,魂斗罗的上上下下左右左右BABA,赤色要塞抢了小伙伴的人质,松鼠大战故意摔晕同伴等等等等。

而回忆特别像一串脑海中久未出现的队列,一旦你想起了第一个,接踵而至的,就是剩下的所有,恶魔城、冒险岛、坦克大战、1942、热血系列。。。。

Continue reading “上上下下左右左右BABA”

上上下下左右左右BABA

优雅地部署Zabbix – Part 1

前言

进入新公司接手了监控项目,由于历史遗留问题(笑)内部有大量的坑,无奈推倒重来,后面会针对整个项目再做一个总结,这里不再赘述。

Zabbix作为老牌企业级开源监控,虽然有诸如监控图表鸡肋、配置麻烦等缺点,但同时也有监控协议灵活,部署轻量级等足以让你忽略掉各种缺点的优点。毫无疑问,是绝大多数公司的最佳选项。

Zabbix后端是C写的,前端是用The Best Language in The World 写的。由Zabbix Company负责维护,同大多数大型开源软件差不多,提供了各种各样的安装方式,Source/Package/repo应有尽有。

可能是由于早期国内第一批接触Zabbix的人都有源代码编译癖,几乎所有的教程全部都是教你通过编译源代码进行安装和部署,加之官方只会放出世代release版本的rpm/deb包。所以大家也都欣然接受通过编译安装Server端。

Continue reading “优雅地部署Zabbix – Part 1”

优雅地部署Zabbix – Part 1

关于SSH的若干

很早就想总结一篇关于SSH的文章。

SSH、SSH Key、SFTP、SCP等等一直都在用,但是很少总结和体会。本着烂笔头法则,总结一下。

SSH即Secure Shell,实际上就是在应用层的网络服务上的一种加密协议。起初应用于Unix/Linux的系统上。SSH主要采用公钥-密钥模式进行验证。目前最新版本是发布于2006年的2.x。

此处以SSH协议的三个应用来展开,大家可以根据协议在这三个应用中的具体实现来体会SSH本身。

Continue reading “关于SSH的若干”

关于SSH的若干

找回GitHub消失的contributions

作为世界上最大同性交友网站——GitHub 😂

自从入了坑,天天想着push代码。之前Yumeer的项目本来在Coding上,后来嫌弃它不够洋气,就换到GitHub上来了,搭建好仓库,配置好ssh,开始安心写代码。commit一两次后,我发现我的contributions并没有被点亮啊,一开始以为是私有仓库的原因,没去管。直到最近突然发现我一直设置的是展现所有项目。几番寻找,后来发现了问题——为了方便pull/push。我使用了SSH,在公司里面,我配置成[email protected],家里配置成了[email protected]。push代码的时候,GitHub无法匹配账户信息,默认判断为新用户提交,这也就造成了最后无法count进自己的contributions。

Continue reading “找回GitHub消失的contributions”

找回GitHub消失的contributions

基于CodeIgniter的Service层构建

最近做了一些事情,其中一件就是分离出之前基于CI写的Service层并打包发布到GitHub。
想着还是应该留下一点什么,便是来由。
这是还在Yumeer的时候,那会儿江哥刚来,梳理了整个业务逻辑,发现杂乱无章,遂推倒了重来。还是我一人负责后端,囿于经验,之前完全是hard-coding,代码复用性基本为0,加之CI的特性:

-The Model represents your data structures. Typically your model classes will contain functions that help you retrieve, insert, and update information in your database.
-The View is the information that is being presented to a user. A View will normally be a web page, but in CodeIgniter, a view can also be a page fragment like a header or footer. It can also be an RSS page, or any other type of “page”.
-The Controller serves as an intermediary between the Model, the View, and any other resources needed to process the HTTP request and generate a web page.

Continue reading “基于CodeIgniter的Service层构建”

基于CodeIgniter的Service层构建