labchy 发布的文章

世界顶级思维,终于收全了!终身受用!

1、关于素养

蓝斯登原则:在你往上爬的时候,一定要保持梯子的整洁,否则你下来时可能会滑倒。

提出者:美国管理学家蓝斯登。

点评:进退有度,才不至进退维谷;宠辱皆忘,方可以宠辱不惊。

卢维斯定理:谦虚不是把自己想得很糟,而是完全不想自己。

提出者:美国心理学家h.卢维斯。

点评:如果把自己想得太好,就很容易将别人想得很糟。

托利得定理:测验一个人的智力是否属于上乘,只看脑子里能否同时容纳两种相反的思想而无碍于其处世行事。

提出者:法国社会心理学家h.m.托利得。

点评:思可相反,得须相成。

2、关于统御

刺猬理论:刺猬在天冷时彼此靠拢取暖,但保持一定距离,以免互相刺伤。

点评:保持亲密的重要方法,乃是保持适当的距离。

鲦鱼效应:鲦鱼因个体弱小而常常群居,并以强健者为自然首领。将这条首领鲦鱼脑后控制行为的部分割除后,此鱼便失去自制力,行动也发生紊乱,但其他鲦鱼却仍像从前一样盲目追随。

提出者:德国动物学家霍斯特。

点评:1、下属的悲剧总是领导一手造成的。2、下属觉得最没劲的事,是他们跟着一位最差劲的领导。

雷鲍夫法则:在你着手建立合作和信任时要牢记我们语言中:

1、最重要的八个字是:我承认我犯过错误。

2、最重要的七个字是:你干了一件好事!

3、最重要的六个字是:你的看法如何?

4、最重要的五个字是:咱们一起干!

5、最重要的四个字是:不妨试试!

6、最重要的三个字是:谢谢您!

7、最重要的两个字是:咱们。

8、最重要的一个字是:您。

提出者:美国管理学家雷鲍夫。

点评:记住经常使用,它会让你事半功倍。

洛伯定理:对于一个经理人来说,最要紧的不是你在场时的情况,而是你不在场时发生了什么。

提出者:美国管理学家r.洛伯。

点评:如果只想让下属听你的,那么当你不在身边时他们就不知道应该听谁的了。

3、关于沟通

斯坦纳定理:在哪里说得愈少,在那里听到的就愈多。

提出者:美国心理学家s.t.斯坦纳。

点评:只有很好听取别人的,才能更好说出自己的。

费斯诺定理:人两只耳朵却只有一张嘴巴,这意味着人应该多听少讲。

提出者:英国联合航空公司总裁兼总经理l.费斯诺。

点评:说得过多了,说的就会成为做的障碍。

牢骚效应:凡是公司中有对工作发牢骚的人,那家公司或老板一定比没有这种人或有这种人而把牢骚埋在肚子里公司要成功得多。

提出者:美国密歇根大学社会研究院

点评:1、牢骚是改变不合理现状的催化剂。2、牢骚虽不总是正确的,但认真对待牢骚却总是正确的。

避雷针效应:在高大建筑物顶端安装一个金属棒,用金属线与埋在地下的一块金属板连接起来,利用金属棒的尖端放电,使云层所带的电和地上的电逐渐中和,从而保护建筑物等避免雷击。

点评:善疏则通,能导必安。

4、关于协调

氨基酸组合效应:组成人体蛋白的8种氨基酸,只要有一种含量不足,其他7种就无法合成蛋白质。

点评:当缺一不可时,一就是一切。

米格-25效应:前苏联研制的米格-25喷气式战斗机的许多零部件与美国的相比都落后,但因设计者考虑了整体性能,故能在升降、速度、应急反应等方面成为当时世界一流。

点评:所谓最佳整体,乃是个体的最佳组合。

磨合效应:新组装的机器,通过一定时期的使用,把磨擦面上的加工痕迹磨光而变得更加密合。

点评:要想达到完整的契合,须双方都做出必要的割舍。

5、关于指导

波特定理:当遭受许多批评时,下级往往只记住开头的一些,其余就不听了,因为他们忙于思索论据来反驳开头的批评。

提出者:英国行为学家l.w.波特

点评:总盯着下属的失误,是一个领导者的最大失误。

蓝斯登定律:跟一位朋友一起工作,远较在父亲之下工作有趣得多。

提出者:美国管理学家蓝斯登

点评:可敬不可亲,终难敬;有权没有威,常失权。

吉尔伯特法则:工作危机最确凿的信号,是没有人跟你说该怎样做。

提出者:英国人力培训专家b.吉尔伯特

点评:真正危险的事,是没人跟你谈危险。

权威暗示效应:一化学家称,他将测验一瓶臭气的传播速度,他打开瓶盖15秒后,前排学生即举手,称自己闻到臭气,而后排的人则陆续举手,纷纷称自己也已闻到,其实瓶中什么也没有。

点评:迷信则轻信,盲目必盲从。

6、关于组织

奥尼尔定理:所有的政治都是地方的。

提出者:美国前众议院院长奥尼尔

点评:只有能切身体会到的,群众才认为那是真实的。

定位效应:社会心理学家曾作过一个试验:在召开会议时先让人们自由选择位子,之后到室外休息片刻再进入室内入座,如此五至六次,发现大多数人都选择他们第一次坐过的位子。

点评:凡是自己认定的,人们大都不想轻易改变它。

艾奇布恩定理:如果你遇见员工而不认得,或忘了他的名字,那你的公司就太大了点。

提出者:英国史蒂芬。约瑟剧院导演亚伦。

点评:摊子一旦铺得过大,你就很难把它照顾周全。

7、关于培养

吉格勒定理:除了生命本身,没有任何才能不需要后天的锻炼。

提出者:美国培训专家吉格•吉格勒

点评:水无积无辽阔,人不养不成才。

犬獒效应:当年幼的藏犬长出牙齿并能撕咬时,主人就把它们放到一个没有食物和水的封闭环境里让这些幼犬自相撕咬,最后剩下一只活着的犬,这只犬称为獒。据说十只犬才能产生一只獒。

点评:困境是造就强者的学校。

8、关于选拔

近因效应:最近或最后的印象对人的认知有强烈的影响。

提出者:美国社会心理学家洛钦斯。

点评:结果往往会被视为过程的总结。

酒井法则:在招工时用尽浑身解数,使出各种方法,不如使自身成为一个好公司,这样人才自然而然会汇集而来。

提出者:日本企业管理顾问酒井正敬。

点评:不能吸引人才,已有的人才也留不住

美即好效应:对一个外表英俊漂亮的人,人们很容易误认为他或她的其他方面也很不错。

提出者:美国心理学家丹尼尔•麦克尼尔。

点评:印象一旦以情绪为基础,这一印象常会偏离事实。

9、关于任用

奥格尔维法则:如果我们每个人都雇用比我们自己都更强的人,我们就能成为巨人公司。

提出者:美国奥格尔维。马瑟公司总裁奥格尔维。

点评:如果你所用的人都比你差,那么他们就只能做出比你更差的事情。

皮尔卡丹定理:用人方面一加一不等于二,搞不好等于零。

提出者:法国著名企业家皮尔•卡丹。

点评:组合失当,常失整体优势,安排得宜,才成最佳配置。

10、关于激励

马蝇效应:再懒惰的马,只要身上有马蝇叮咬,它也会精神抖擞,飞快奔跑。

点评:有正确的刺激,才会有正确的反应。

倒u形假说:当一个人处于轻度兴奋时,能把工作做得最好。当一个人一点儿兴奋都没有时,也就没有做好工作的动力了;相应地,当一个人处于极度兴奋时,随之而来的压力可能会使他完不成本该完成的工作。世界网坛名将贝克尔之所以被称为常胜将军,其秘诀之一即是在比赛中自始至终防止过度兴奋,而保持半兴奋状态。所以有人也将倒u形假说称为“贝克尔境界”。

提出者:英国心理学家罗伯特•耶基斯和多德林。

点评:1、激情过热,激情就会把理智烧光。2、热情中的冷静让人清醒,冷静中的热情使人执着。

11、关于调研

特伯论断:在数字中找不到安全。

提出者:美国经济学家w.s.特伯。

点评:数字是死的,情况是活的。

摩斯科定理:你得到的第一个回答,不一定是最好的回答。

提出者:美国管理学家r.摩斯科。

点评:刨根得根,问底知底。

12、关于预测

罗杰斯论断:成功的公司不会等待外界的影响来决定自己的命运,而是始终向前看。

提出者:美国IBM公司前总裁p.罗杰斯。

点评:只想随波逐流,难有理想彼岸。

萨盖定律:戴一块手表的人知道准确的时间,戴两块手表的人便不敢确定几点了。

提出者:英国心理学家p.萨盖。

点评:若选错误参照,必无正确比较。

隧道视野效应:一个人若身处隧道,他看到的就只是前后非常狭窄的视野。

点评:1、不拓心路,难开视野。2、视野不宽,脚下的路也会愈走愈窄。

13、关于目标

巴菲特定律:在其他人都投了资的地方去投资,你是不会发财的。

提出者:美国股神巴菲特。

点评:1、善于走自己的路,才可能走别人没走过的路。2、特色不特,优势无优。

古特雷定理:每一处出口都是另一处的入口。

提出者:美国管理学家w.古特雷。

点评:上一个目标是下一个目标的基础,下一个目标是上一个目标的延续。

14、关于计划

列文定理:那些犹豫着迟迟不能作出计划的人,通常是因为对自己的能力没有把握。

提出者:法国管理学家p.列文。

点评:如果没有能力去筹划,就只有时间去后悔了。

弗洛斯特法则:在筑墙之前应该知道把什么圈出去,把什么圈进来。

提出者:美国思想家w.p.弗洛斯特

点评:开始就明确了界限,最终就不会作出超越界限的事来。

15、关于参谋

波克定理:只有在争辩中,才可能诞生最好的主意和最好的决定。

提出者:美国庄臣公司总经理詹姆士•波克。

点评:无磨擦便无磨合,有争论才有高论。

韦奇定理:即使你已有了主见,但如果有十个朋友看法和你相反,你就很难不动遥。

提出者:美国洛杉矶加州大学经济学家伊渥•韦奇。

点评:1、未听之时不应有成见,既听之后不可无主见。2、不怕开始众说纷纭,只怕最后莫衷一是。

16、关于决策

福克兰定律:没有必要作出决定时,就有必要不作决定。

提出者:法国管理学家d.l.福克兰。

点评:当不知如何行动时,最好的行动就是不采取任何行动。

王安论断:犹豫不决固然可以免去一些做错事的机会,但也失去了成功的机遇。

提出者:美籍华裔企业家王安博士。

点评:寡断能使好事由好变坏,果断可将危机转危为安。

17、关于执行

格瑞斯特定理:杰出的策略必须加上杰出的执行才能奏效。

提出者:美国企业家h.格瑞斯特。

点评:好事干实更好,实事办好愈实。

吉德林法则:把难题清清楚楚地写出来,便已经解决了一半。

提出者:美国通用汽车公司管理顾问查尔斯•吉德林。

点评:杂乱无章的思维,不可能产生有条有理的行动。

18、关于信息

沃尔森法则:把信息和情报放在第一位,金钱就会滚滚而来。

提出者:美国企业家s.m.沃尔森。

点评:你能得到多少,往往取决于你能知道多少。

塔马拉效应:塔马拉是捷克雷达专家弗。佩赫发明的一种雷达,它与其他雷达的最大不同是不发射信号而只接收信号,故不会被敌方反雷达装置发现。

点评:善藏者人不可知,能知者人无以藏。

19、关于监督

小池定理:越是沉醉,就越是抓住眼前的东西不放。

提出者:日本管理学家小池敬。

点评:自我陶醉不易清醒,自以为是不喜批评。

赫勒法则:当人们知道自己的工作成绩有人检查的时候会加倍努力。

提出者:英国管理学家h.赫勒。

点评:只有在相互信任的情况下,监督才会成为动力。

(来源:网络)

色情网站是如何盈利的

认真答题。

首先要区分两类色情网站:一类是 p***hub, red**be 这种,主打 free porn (免费色情). 另一种是 Babes, Twistys, Reality Kings, Wowgirls, WebYoung, NubileFilms 等等会员制的付费网站。

付费的很简单,直接填上你的信用卡,然后例如每月付 $29.99 或者半年 $109 或者按年付费。不少网站还是联盟性质,也就是说,你买了一家的会员,你在联盟里的其他网站自动也是会员。这种联盟的例子就是 Fake Agent, Public Agent, Fake Taxi, Fake Hospital, Fake Cop, Female Agent 这一系列。

至于免费的呢,除了广告,至少有三点可以盈利。

首先,免费网站一般只提供10分钟左右的类似于 preview (预览), 虽然说原版40多分钟的各个 scene 都会有,但是每个都剪得很短,然后拼接起来的10分钟。这样的话,感兴趣的人,看完预览想看原版,可能就会去付费的专题网站上订阅。

第二,例如 p***hub 作为一个2004年靠免费视频起家的网站,在2014年也推出了会员付费的功能。就是每月订阅 $9.99, 会员可以看 1080p, 免费的只有 720p. 另经

提醒,会员也有独家内容。

最后,这些免费的网站通常也会做为一个直播的平台。比如 P***hub Live Cams, 主播可以设置一个 goal, 比如 $200, 然后每个观众给些钱,比如 $5 $10, 然后达到了 goal 主播就开始表演。或者可以直接付钱 private show. 这些钱需要从平台中转,那么平台肯定也会盈利。

其实上面这些都无所谓,因为:

目前的色情产业已经被一个寡头公司垄断了。大多数免费网站 (包括 p***hub),都是属于同一家母公司 MindGeek.

MindGeek 前身叫做 Manwin, 2004年成立于加拿大, 2013年改的名字. MindGeek 经过这些年靠免费网站的广告收入野蛮生长,经过不断的吞并收购,目前总共运营着将近一百个网站,每天过亿的访问量,占用的带宽比 Facebook, Twitter, Amazon 都多。除了免费网站, MindGeek 也运营会员制的付费网站,例如上面提到的 Twistys, Babes, Reality Kings, 还有 Digital Playground 等,同时它本身就拥有各种 studio 来创作影视资源。

如人所说, MindGeek 不是 "a porn provider", 而是 "THE porn provider". 垄断寡头怎么可能担心盈利呢。

======================

我在讲一个公开而且合法的产业。这些公司并不注册在中国,也不对中国的用户提供服务,所以用中国的法律系统衡量是没有意义的。在美国,1973年 Miller v. California 一案,最高法院决定,所有通过 Miller test 的色情制品都是受宪法第一修正案(言论自由)保护的。至于其他国家的法律法规,请参考 Wikipedia -> Pornography by region | Wikiwand

作为一个做IT的(身在海外),我只是有随手Google的自由+有点好奇心罢了。不管看到什么,都会想研究一下商业模式,了解一下发展历史。叫我老司机就算了吧,我是专门去查了好多资料才来答题的,详情见最后 reference 部分。

======================

下图是不同国家和地区关于色情制品的法律法规(仅供参考,可能有误,不能作为专业法律材料),请遵守您所在地的法律法规。


  • 绿色:合法
  • 黄色:部分合法
  • 红色:不合法
  • 灰色:暂无数据

(如果一定要总结的话,可能是在 东亚文化圈+伊斯兰世界不合法,欧洲文明+前欧洲殖民地合法?)

======================

比起这些网站上的视频,更让我感兴趣的是这个:MindGeek 还在加拿大蒙特利尔招程序员呢,好像他家主要是PHP - 这都2017年了竟然还有人在用PHP??? (好了成功的转移了话题来撕吧)




======================

References:

  1. MindGeek: mindgeek.com/technology
  2. Economist: economist.com/news/inte
  3. The Verge: Pornhub taught us to expect free porn — now, can it make us pay?
  4. Slate: There Is a Porn Monopoly, and Its Name Is MindGeek
  5. Pornography by region | Wikiwand

=======================

Quora 相关问题:

  1. How do tube porn sites (e.g. tube8, pornhub) make enough money to cover servers/bandwidth?
  2. How much money does Pornhub make?

工作总结

滨海学院那边已经联系了 等等有了靠谱消息会告诉你的
说到的几个点
1 开业推迟 还需要两到三个月补充细节
2 每个月的业绩任务 15W 新村店满负荷每天50人次
3 你现在的工作: 销售 招聘 加盟商 观察新店试营业细节
4 研发新工具


感觉你的事情比较多 时间明显不够用
说说我自己想到的 你捡你觉得有用的看


现在的店能否达到营业状态?提供承诺的服务,收费一个完整流程能否完成?
如果可以 很好 精力都放在这块 最好住到店里
1 老板亲自驻店 可以提高工作效率 提高销售 员工注意力会集中 你也可以观察既定工作流程的实际执行效果
2 招聘的问题 找来的都是白纸 如何能尽快创造价值 关键在培训 如何培训的有效果 还是得看店里
是统一培训?还是师父带徒弟?模式要有选择 学员也未必都能学出来 学不出来的咋办?
怎么才算学出来?标准是?其实你要是有空可以亲自学一学这技术 实际体验一下 千万别想简单了
3 可以模仿日式百年小店的理念 匠人精神 它这里面有一个专注技巧,淡泊金钱的含义
“虽在毫末之间 却是顶上功夫”这对子是说剃头的 但你这也适用 无厚入有间 这个概念绝对能用
品牌的定位 可以使用 邻居 把你的店的气息 隐没在居民区里 就像小超市和理发店一样 成为一个普通小区的标准配置
完全融合进去 闷声发财不张扬 也符合你的气质
4 营销 简单说几句 服务行业 话术和姿态最重要
所有技师服务员的制服 表情 说话态度 语气 声音最好都要统一规范 最好女服务员 从头到脚到化妆 处处都是学问 需要摸索 把握好度
5 什么辟谷之类的都是旁门左道 还有政治 能远离就要远离 除非急躁了 所以要控制好节奏 研发新工具 那都是噱头 给外人说说就好
自己别当真 浪费太多时间 还有全员持股 千万不要挑战人性底线 危险 也没有意义
6 综上 你需要一个专门的时间 亲自坐镇店里 与顾客交流 听顾客反馈 比你自己观察效率的多 而且 销售招聘加盟商 都能有个交代
最主要的是时间 要开张就正儿八经的热闹一下 让大家都知道,如果一直这个状态 对内对外 对自己 时间长了 都会有影响
7 不要计划太遥远的事情 让这个店赶紧转起来 是我认为最重要的事情 因为人员工资房租这些都已经启动了 如果有一个非常不错的实体店在 很多问题都会迎刃而解的 昨天听你一说要两三个月 我的第一反应是 你对完成这个事情到底需要多少时间是没把握的
8 事情多了 排好顺序 你做算法这么厉害 优先级肯定清楚 找到核心问题 用最简洁的方法解决 下个月会有下个月的问题 到时是没时间来解决现在这些问题的

我这天上一脚地下一脚 随口乱说 你就这么一看 一定稳住 我把我最近手头这点事弄完 一定去探店 再给你写一篇

一个可供创业公司借鉴的API架构演进思路

付钱拉是一家做金融云服务的公司,目前对外提供有支付、资金管理、大数据征信、余额增值、理财超市等与金融相关的服务。付钱拉提供的这些金融服务非常简单好用,跟互联网上的大家看到的OAuth,评论等互联网接口类似,对接付钱拉的支付只需要7行代码。金融简单化,互联网化是我们企业的夙愿。但金融服务跟其他服务相比也有几个特点:

  • 安全,稳定压到一切

  • 数据要求强一致

  • 重试成本高

  • 调用链长,延时高

  • 全程可回溯

  • 用户操作谨慎

业务场景的这些特点会随着版本演进,逐渐渗透到付钱拉的整体架构设计里面,后面会慢慢展开。

目前付钱拉仍是一个创业公司,从2014年至今付钱拉经历了4次大的技术架构调整。目前仍在中小规模下运作,如果读者您目前的团队跟我们差不多,那我想会有更多共鸣。所以本文有几个适用范围:

处在技术债的积累期。

开发团队几十人。

硬件规模不过百。

服务调用千万级。

起步V1.0阶段

请输入图片描述

all in one 模式,所有服务都在一起,部署准双机,之所以叫准双机,是因为还略有不同。右边那个webapp里面还有定时任务,上面是网络分发层,下面是DB。是不是很熟悉的感觉?开发框架是Spring+MyBatis。网站前台,管理后台,定时任务,API接口都在一个war里面。所有操作直接打到数据库上,业务和通讯耦合和在一起, 批处理和实时接口也耦合和在一起。

大家看这个很low吧。业务刚起步的时候,逻辑简单,访问量也不高,其实还好。随着公司业务的迅猛发展,几个月后这套架构的不足就体现出来了。比如:

各种模块耦合严重,不能局部扩容。

直接打数据库,IO和CPU都过载。

历史数据沉淀拖慢数据库性能。

发展V2.0阶段

请输入图片描述

解决V1.0的问题,最简单的方式就是拆应用,加机器,加内存,换SSD。把前台、后台、定时、接口拆成4个应用,独立部署。为了解决数据库性能问题,增加多级缓存。JVM里面的localCache,分布式Redis的上线,大大降低了数据库IO。如果业务稳定了,其实这个架构我们会一直沿用下去。

付钱拉遇到的真实情况是随着业务的迅猛发展,平台的功能模块开始了爆炸式增长。各种需求层出不穷,人手也比较紧张,本着先发展后治理的思路。经过3个月的努力,终于把项目写成了一个大泥球,运行速度越来越慢,新增修改需求也越来越慢,Bug越来越不容易捉,最主要性能也扛不住了。这个时候,不改也不行了。

请输入图片描述
思考
泥球一定不好吗?如何拆解大泥球?新业务线如何避免写成大泥球?我们总结了一下,有以下几点:

增强业务的理解和抽象

增强团队协作和知识储备

学会挑重点,合理安排优先级
请输入图片描述

其实如果业务逻辑不是特别复杂,系统对于性能、稳定性要求不是特别高。这套简单实用的架构挺适用于小公司的快速发展的。回头有机会我们把V2.0的架构开源出来,让大家评判一下。

V1.0和V2.0 架构其实没有大多变化,主旋律是拆分解耦和加机器加缓存。这也是目前业界普遍采用的做法。那有没有更好的设计理念?

可以灵活的提高性能;

可以简单的做单元测试;

可以无缝升级新版本;

可以稳步提高开发效率;
请输入图片描述

我们先看两个非常简单的问题:
请输入图片描述

假设付钱拉只提供两个API,一个是做加法,客户端给参数a和b,服务端返回a+b。一个是做++1,客户端get,服务端获取最新值+1后返回。

1+1 是一种CPU密集型操作,API主要做计算操作,而且不需要保存状态,这种服务我们叫无状态化的计算型服务。因为没有状态,无线程安全问题,完全可以并发操作。如果顶不住了可以随时加机器解决。

而++1这种呢,需要获取当前的最新值,才可以做+1操作,是一种有状态的服务。这种服务我们叫有状态的IO密集型服务。

++1 还有一个特殊情况,服务线程还需要考虑并发的问题。再考虑上分布式环境下,状态不能单机保存,还需要考虑集中存储的问题。

以上两个例子,是目前付钱拉API的两个典型的场景。

借这个场景来说明有状态无状态,IO密集,计算密集等API设计时的通用问题。那么怎么解决呢?

我们先从程序的结构上说起,API也是一个程序,按照各位大佬书上说的:程序=数据结构+算法。

算法就是1+1的问题,加法就是一个最简单的算法。++1 更多的是一个数据结构的问题,比如使用Redis的Incrby来做累加,因为Redis的单线程模型,分布式存储和线程同步的问题一并解决了。所以比较好的设计思路是把算法和数据结构完全分离。

如果程序不能完全隔离状态,那就把状态(数据结构)托管到专门的状态存储中间件。比如Redis、MySQL等,逻辑和状态从设计和部署上解耦,即所有的服务都是『无状态化的服务』。
请输入图片描述

基于金融服务要求完全可回溯,再考虑到数据库的并发锁性能问题。更新操作可以理解为先删除再增加,更新操作首先是一个随机IO,定位数据行需要时间。
请输入图片描述
请输入图片描述

另外操作也比较复杂,先删后加,更新还会丢失历史版本,比如更新1->2->3,我们只能看到最终结果3,看不到过程1和2了,所以建议用新增替代更新。

所以 把状态理解成版本,版本只能新增累加,如 git svn 等版本控制工具。

新增操作是顺序IO,一直在表的末尾追加,性能优于更新而且新增不会有并发的问题,更新要考虑并发。另外新增可以保存所有的历史版本,例如新增1,2,3,都在表里面。

思考了这么多…..那么新的架构要满足那些条件呢?

服务化V3.0

综上所述,新版的架构应该具备目前比较流行的”微服务”的特质:

模块化

服务化

异步化

简单可调试

全流程跟踪

原生云支持,弹性部署

3.0这个版本 从webapp切换成了微服务架构:
请输入图片描述

给大家看看我们的事件处理机制:
请输入图片描述

V3.0是一个基于MQ消息的异步驱动的流程组织引擎,整体的业务流程都是消息驱动,上游处理完毕后,把消息扔给下游就不管了。哪个模块出了异常都可以随时终止流程返回给调用方,如果程序正常执行完毕,最末端的模块负责给调用方响应。

那模块如何响应调用方?调用方在发消息的时候,在报文里面放一个UUID的队列名称。调用方发出消息后,就开始阻塞监听这个UUID的返回队列,各个处理模块都可以给这个UUID队列放消息,调用方收到消息后流程就结束了。我们内部叫”用两个异步的消息,完成一次同步的通讯”。

V3.0 上线后极大的提高了我们的处理性能,弹性局部扩容,异步化等特性也都具备了,终于可以喘一口气了。

差点忘了说了,V3.0重构时我们顺便解决了数据的分库分表问题。

数据库集群分了三个大区:

“在线库”主要做实时交易用,日表操作,只保留最新的7天数据。

“离线库”主要做查重和实时交易统计,数据秒级同步,周表操作,保存半年。

“历史库”主要做BI和数据分析,月表操作,永久保存。

V3.0 稳定了半年多吧,也发现了一些问题,也在逐步的完善。有一些基础的设计理念,针对日益复杂的需求变更,还是有点慢。目前我们的核心业务有一部分还跑在3.0这个架构上。其他大部分业务我们都在V4.0这个框架上了。V3.0和V4.0其实是有不同的适用场景的,不是一个完全的新版本替代关系。
请输入图片描述

服务化V4.0

V4.0 相对于 V3.0来说,有几个显著的改变:
请输入图片描述

大家可以对比一些 V3.0的架构图。
请输入图片描述

增加了控制器队列,主要负责消息的编排,各个具体功能模块执行完毕后。

不需要决定把消息给那个下游模块了,而是直接返回给控制器模块,控制器来决定下一个模块是谁。

控制器模块其实也是一个普通队列可以多点部署防止单点故障。

控制器模块的编排是根据配置文件来做的.配置文件里面定义了一个业务的调用链。

配置文件支持简单的顺序,选择,循环和tryCatch等分支流程。

下面是一个例子:
请输入图片描述

单看性能参数,3.0的性能大概是4.0 的2.5倍左右,4.0主要用在业务逻辑多变,性能要求不是特别高的场景下。

下面说一下付钱拉的批处理和调度:
请输入图片描述

我们仿照Hadoop搞了一套调度与批处理,用nas mount网络存储 来替代HDFS实现分布式文件存储。用数据库MySQL来存放调度等meta数据,替代jobtracker。大体一个拉模型,各个任务节点都要主动去MySQL里面轮询任务。

有没有我的任务?

不停的去MySQL里面查…

业务和运维人员可以用sql和我们的工具界面。

操作数据库的记录实现任务的分配 执行 结果反馈.. 重提 .. 可以自动跑批,也可以人工干预。成本不高 但是很简单实用。

这个批处理架构有兴趣的,我们可以单聊,今天就说个架子,不详细展开了。
请输入图片描述

上面这个PPT说的是数据库的一些设计的基本原则。时间关系也不展开讲了。

原文地址 原文链接

/* * @Author: your name * @Date: 2016-09-06 00:00:00 * @LastEditTime: 2020-03-17 18:29:35 * @LastEditors: Please set LastEditors * @Description: In User Settings Edit * @FilePath: \htdocs\usr\themes\default\footer.php */