零声教育 第10代 Linux C/C++后台架构开发 成长体系课程 - v1.0
零声教育
2021-05-26

注：在老师指导下，进行学习，有问题第一时间与老师沟通。切忌盲目自行学习，容易走火入魔，后果自负。
零声教育 第10代 Linux C/C++后台架构开发 “9+2”系统成长体系课程 1. 精进基石专栏 1.1 数据结构与算法 面试必聊的排序与KMP 随处可见的红黑树 磁盘存储链式的B树与B+树 海量数据去重的Hash与布隆过滤器，bitmap 1.2 设计模式 创建型设计模式 结构型设计模式 行为型设计模式 1.3 工程管理 手写：Makefile/cmake/configure 操作：git/svn与持续集成 Linux 系统运行时参数命令 2. 高性能网络设计专栏 2.1 网络编程 项目：网络io与select，poll，epoll 项目：reactor的原理与实现 项目：http/https服务器的实现 项目：websocket协议与服务器实现 2.2 网络原理 项目：服务器百万并发实现 redis，memcached，nginx网络组件 posix API与网络协议栈 udp的可靠传输，QUIC，KCP 3. 基础组件实现专栏 3.1 池式组件 手写线程池与性能分析 ringbuffer与内存池实现 异步请求池 http/mysql/redis/dns mysql/redis连接池的实现 3.2 高性能组件 原子操作CAS与锁实现原理实现 消息队列与无锁实现 定时器方案 红黑树 时间轮 最小堆 try/catch组件的实现 3.3 开源组件 libevent/libev框架实战的那些坑 异步日志方案log4cpp 应用层协议设计ProtoBuf/Thrift Openssl 对称加密与非对称加密 Json数据解析/Xml解析器和工具包 字符编码Unicode原理及编程实践 4. 中间件开发专栏 4.1 MySQL MySQL索引原理以及SQL优化 MySQL事务原理分析 MySQL缓存策略 MySQL集群方案与Replication原理 4.2 Redis Redis 相关命令详解及其原理 Redis协议与异步方式 存储原理与数据模型 主从同步与对象模型 集群方案主从复制/哨兵/集群与持久化 4.3 Nginx Nginx反向代理与系统参数配置conf原理 广告内容推送 Nginx过滤模块的实现 访问频率统计 Nginx handler模块的实现 Nginx http状态机流程 进程间通信与Slab共享机制 4.4 MongoDB 接口编程与文档操作 集群方案与持久化备份 内核级支持的分布式存储Ceph 5. 开源框架专栏 5.1 Skynet Skynet设计原理 skynet网络层封装以及lua/c接口编程 skynet重要组件以及手撕游戏项目 5.2 ZeroMQ 消息队列与ZeroMQ的应用 ZeroMQ源码分析：消息模型的实现 ZeroMQ源码分析：网络机制与性能分析 5.3 DPDK DPDK环境与testpmd/l3fwd/skeleton 高性能数据处理框架VPP 千万级流量并发的DNS处理 DPDK的虚拟交换机框架 OvS DPDK的用户态协议栈实现 6. Linux内核源码专栏 6.1 进程管理 进程原理与运行分析 锁与进程间通信 全方位剖析调度机制 6.2 内存管理 内存原理与内存杂乱繁多的细节 物理内存与虚拟内存管理 虚拟内存及API调用 6.3 文件系统 虚拟文件系统 磁盘文件系统 无持久存储的文件系统 用户态文件系统fuse 6.4 设备驱动 实现进程间通信组件 块设备运行原理 虚拟网络适配器的实现 7. 性能分析专栏 7.1 性能工具 高性能代码构建系统 tundra Http压测工具 WRK 网站压测工具 webbench 7.2 调试库 内存调试性能分析工具 Valgrind 谷歌C++测试框架 GoogleTest 内存分配跟踪库 MemTrack 7.3 内核跟踪与火焰图分析 内核探测SystemTap 火焰图分析与生成 8. 分布式架构专栏 8.1 架构实战 腾讯微服务RPC框架Tars 容器化Docker与容器编排 8.2 架构原理 分布式注册服务中心etcd 快播核心技术揭秘 P2P框架的实现 9. 上线项目实战 IM即时通讯项目框架分析和部署 IM消息服务器/文件传输服务器 消息服务器/路由服务器 数据库代理服务器设计 文件服务器和docker部署 产品上云公网发布/公网测试上线 10. 配套参考书籍资料 1. MySQL：《高性能MySQL 第3版》 2. Nginx：《深入理解Nginx：模块开发与架构分析(第2版)》（陶辉） 4. Linux内核：《深入理解Linux内核架构》 （郭旭 译） 5. 数据结构与算法：《算法导论》(第3版) 6. 性能分析：《性能之巅 洞悉系统、企业与云计算》 7. MongoDB：《MongoDB权威指南》 8. Ceph：《Ceph分布式存储学习指南》（Ceph中国社区） 9. Docker：《Docker容器与容器云(第2版)》 10. TCP/IP：《Tcp/Ip详解卷一卷二卷三》 11. Linux系统编程：《Unix高级环境编程》 12. 计算机：《深入理解计算机系统》 13. ZeroMQ：《ZeroMQ:云时代极速消息通信库》 14. DPDK：《深入浅出DPDK》 9.2 微服务即时通讯 9.1 互联网并发云盘 fastdfs架构分析和配置 fastdfs存储原理 分布式fastdfs存储集群部署 高负载nginx/fastcgi 产品上云公网发布/测试用例 3. Redis：Redis设计与实现 （黄健宏） 插入排序 快速排序 希尔排序 桶排序 基数排序 归并排序 字符串匹配 KMP算法 红黑树的应用场景 进程调度cfs，内存管理 红黑树的数学证明与推导 手撕红黑树的左旋与右旋 红黑树添加的实现与添加三种情况的证明 红黑树删除的实现与删除四种情况的证明 红黑树的线程安全的做法 分析红黑树工程实用的特点 磁盘结构分析与数据存储原理 多叉树的运用以及B树的定义证明 B树插入的两种分裂 B树删除的前后借位与节点合并 手撕B树的插入，删除，遍历，查找 B+树的定义与实现 B+树叶子节点的前后指针 B+树的应用场景与实用特点 B+树的线程安全做法 hash的原理与hash函数的实现 图论算法，dijkstra，dfs，bfs，动态规划 hash的应用场景 海量数据去重布隆过滤器 布隆过滤的数学推导与证明 分布式hash的实现原理 单例模式 工厂方法模式与抽象工厂模式 原型模式 适配器模式 代理模式 桥接模式 组合模式 策略模式 观察者模式 责任链模式 状态模式 Makefile的规则与make的工作原理 单文件编译与多文件编译 Makefile的参数传递 多目录文件夹递归编译与嵌套执行make Makefile的通配符，伪目标，文件搜索 Makefile的操作函数与特殊语法 configure生成makefile的原则 cmake的写法 git的工作流程 创建操作与基本操作 分支管理，查看提交历史 git服务器搭建 进程间通信设施状态 ipcs Linux系统运行时长 uptime CPU平均负载和磁盘活动 iostat 监控，收集和汇报系统活动 sar 监控多处理器使用情况 mpstat 监控进程的内存使用情况 pmap 系统管理员调优和基准测量工具 nmon 密切关注Linux系统 glances 查看系统调用 strace ftp 服务器基本信息 ftptop IO监控 iotop 电量消耗和电源管理 powertop 监控 mysql 的线程和性能 mytop 系统运行参数分析 htop/top/atop Linux网络统计监控工具 netstat 显示和修改网络接口控制器 ethtool 网络数据包分析利刃 tcpdump 远程登陆服务的标准协议 telnet 获取实时网络统计信息 iptraf 显示主机上网络接口带宽使用情况 iftop socket与文件描述符的关联 2.3 自研框架：协程框架实现NtyCo 2.4 自研框架：用户态协议栈NtyTCP 协程的设计原理与切换汇编实现 协程的调度器实现与性能测试 tcp/ip设计 tcp/ip定时器与滑动窗口的实现 Epoll的实现 sigio的异步通知 多路复用select/poll 手撕epoll单线程，多线程，多进程的多种写法 代码实现LT/ET的区别 reactor针对业务实现的优点 epoll封装 send_cb/recv_cb/accept_cb reactor多核实现 跨平台(select/epoll/kqueue)的封装reactor http协议格式 有限状态机fsm解析http https的工作流程 http2.0与http3.0 https证书配置 websocket握手流程 websocket协议头封装 reactor sendbuffer与recvbuffer封装websocket协议 reactor sendbuffer与recvbuffer封装http协议 websocket数据流的编解码 同步处理与异步处理的数据差异 网络io线程池异步处理 ulimit的fd的百万级别支持 sysctl.conf的rmem与wmem的调优 conntrack的原理分析 redis单线程reactor的实现 memcached的多线程master-worker的reactor实现 nginx的多进程reactor的实现 多进程reactor的坑点，惊群，共享内存 connect，listen，accept与三次握手 close与四次挥手 11个状态迁移 大量close_wait与time_wait的原因与解决方案 tcp keepalive与应用层心跳包 listen参数backlog syn泛洪的解决方案 拥塞控制与滑动窗口 tcp分包与粘包的解决方案 udp的优缺点 udp高并发的设计方案 qq早期为什么选择udp作为通信协议 udp可靠传输原理 quic协议的设计原理 kcp的设计方案与算法原理 quic的开源方案quiche 协程存在的3个原因 同步与异步性能，服务端异步处理，客户端异步请求 协程原语 switch,resume,yield, 协程切换的三种实现方式，setjmp/longjmp, ucontext, 汇编实现 汇编实现 寄存器讲解 协程初始启动 eip寄存器设置 协程栈空间定义，独立栈与共享栈的做法 调度器的定义分析 协程结构体定义 超时集合，就绪队列，io等待集合的实现 协程调度的执行流程 协程接口实现，异步流程实现 hook钩子的实现 协程实现mysql请求 协程多核方案分析 协程性能测试 用户态协议栈的存在场景与实现原理 netmap开源框架 eth协议，ip协议，udp协议实现 arp协议实现 icmp协议实现 tcp协议头实现 滑动窗口的实现 重传定时器，坚持定时器，time_wait定时器，keepalive定时器 tcp控制块的实现 epoll数据结构封装与线程安全实现 协议栈fd就绪回调实现 epoll接口实现 LT/ET的实现 11. 零声服务 直播8个月 每周二四六 8点到10点 课前预习资料 课后思考实践作业 课程方式 班主任督学 作业统计 博客统计 老师答疑 工作问题 课程问题 奖学金机制 最高1000元 公开透明 简历梳理 技术点凸显 项目技术梳理 模拟面试 技术表述 面试跳槽 薪资谈判 福利争取 offer选择 职业规划 技术前景 每次课知识点总结成技术博客（奖学金评选项） 每次课实践题完成github（奖学金评选项） 学习方法 课程与工作相结合，重新思考需求功能 不理解的技术点 跟老师沟通 腾讯offer比例 12% 知名企业offer比例 68% 往期数据 2020年11月统计 最高offer腾讯T3.1(现T9) 年薪65w 最高年薪涨幅 20W 学员风采 最快学习时间1个半月 部分offer列表 学员直播分享视频 学员回访 图的构建与需求应用场景 dijkstra的实现 经典动态规划问题 线程池的异步处理使用场景 线程池的组成 任务队列 执行队列 任务回调与条件等待 扩展：nginx线程池实现对比分析 线程池的动态防缩 内存池的应用场景与性能分析 内存小块分配与管理 内存大块分配与管理 手写内存池，结构体封装与API实现 扩展：nginx内存池实现 避免内存泄漏的两种万能方法 定位内存泄漏的3种工具 string，set，zset，list，hash string的三种编码方式 int,raw,embstr 双向链表的list实现 字典的实现，hash函数 跳表的实现与数据论证 整数集合实现 压缩列表原理证明 对象的类型与编码 字符串对象 列表对象 哈希对象 集合对象 有序集合 类型检测与命令多态 内存回收 对象共享 对象空转时长 解决键冲突与rehash 分布式锁的实现 lua脚本解决ACID原子性 redis的3种集群方式 主从复制，sentinel，cluster 4种持久化方案 大厂的那些分布式缓存方案 Redis协议解析 特殊协议操作 订阅发布 Redis事务的ACID性质分析 手撕异步redis协议 索引，约束以及之间的区别 B+树，聚集索引和辅助索引 最左匹配原则以及覆盖索引 索引失效以及索引优化原则 EXPLAIN执行计划以及优化选择过程分析 事务的ACID特性 MySQL并发问题 脏读，不可重复读，幻读 事务隔离级别 锁的类型，锁算法实现以及锁操作对象 MVCC原理剖析 读写分离，连接池的场景以及其局限 缓存策略问题分析 缓存策略强一致性解决方案 缓存策略最终一致性解决方案 3种缓存故障，缓存击穿，缓存穿透，缓存雪崩 2种mysql缓存同步方案 从数据库与触发器+udf 缓存同步开源方案 go-mysql-transfer 缓存同步开源方案 canal原理分析 记录锁，间隙锁，next-key lock S锁 X锁 IS锁 IX锁 插入意向锁, 自增锁 MySQLSQL语句，索引，视图，存储过程，触发器 MySQL体系结构，SQL执行流程 SQL CURD与高级查询 视图，触发器，存储过程 MySQL权限管理 分库分表：水平分库，垂直分库，水平分表，垂直分表 MySQL官方三种集群方案 replication，Fabric，Cluster 三个开源集群方案 MMM, MHA, Galera Cluster REQ/REP模型原理分析 PUB/SUB模型原理分析 PUSH/PULL模型原理分析 Router/Dealer模型原理分析 消息模型 消息传递模式 消息分帧 中间层代理 消息丢失处理 零拷贝技术 消息高水位标记 无锁队列 可靠性设计 异步请求处理流程 King式四元组，create,commit,callback, destory 异步请求框架封装 应用协议redis/dns/http请求封装 互斥锁的使用场景与原理 自旋锁的性能分析 原子操作的汇编实现 hash的数据结构与使用 内存分配与管理 抽象IO BIO的具体实现 base64编码的原理 RSA的使用场景与数学证明 https证书操作与原理分析 对称加密与非对称加密 Docker镜像管理 镜像元数据管理与存储驱动 网络管理与GRE实现跨网络通信 Docker容器安全解决方案 SElinux Dockerfile的容器构建 编排三剑客 Fig/Compose/Swarm 编排小神器 Fleet Flynn体系架构与实现原理 多核并发编程-多线程，多进程，csp模型，actor模型 actor模型实现-lua服务和c服务 消息队列实现 skynet reactor网络模型封装 socket/socketchannel封装 手撕高性能c服务 基础接口 skynet.send,skynet.call,skynet.response 广播组件 multicastd actor消息调度 数据共享组件 sharedatad datasheet 手撕万人同时在线游戏 setjmp/longjmp try/catch宏定义实现 try/catch嵌套 try/catch线程安全 线程私有数据 pthread_key 定时器的使用场景 定时器的红黑树存储 时间轮的实现 最小堆的实现 分布式定时器的实现 Tars微服务应用场景 分布式MySQL与分布式Cache RPC协议的序列化与反序列化 路由管理Registry 服务发布管理 Patch 网关NAT表分析 NAT类型，完全锥型NAT，对称NAT，端口限制锥形NAT，IP限制锥型NAT 代码逻辑实现NAT类型检测 网络穿透的原理 网络穿透的3种情况 服务发现与服务治理解决方案 Nginx静态文件的配置 Nginx动态接口代理配置 Nginx对Mqtt协议转发 Nginx对Rtmp推拉流 Openresty对Redis缓存数据代理 Nginx Filter模块运行原理 过滤链表的顺序 etcd的应用场景与功能分析 强一致性raft算法原理 etcd的分布式锁实现 单机部署与集群部署 模块开发数据结构 ngx_str_t, ngx_list_t, ngx_buf_t, ngx_chain_t error日志的用法 ngx_comond_t的讲解 ngx_http_module_t的执行流程 Nginx Handler模块运行原理 ngx_module_t/ngx_http_module_t的讲解 Nginx的核心数据结构 ngx_cycle_t, ngx_event_moule_t http 请求的11个处理阶段 http包体处理 http响应发送 Nginx Upstream机制的设计与实现 shmem的三种实现方式 原子操作 nginx channel 信号 信号量 文件锁，互斥锁 slab共享内存 ngx_http_top_body_filter/ngx_http_top_header_filter的原理 如何解决"惊群"问题 如何实现负载均衡 ngx_rbtree_t的使用方法 ngx_rbtree自定义添加方法 模块性能测试 DPDK环境参数讲解 多队列网卡的工作原理 CPU亲和性 Burst数据包的优缺点 DPDK轮询模式 异步中断，轮询模式，混合中断轮询模式 文档/集合/聚合函数操作 五种索引做法 单字段索引，复合索引，TTL索引，全文索引，hash索引 GridFS存储大文件 WiredTiger存储引擎 WiredTiger的事务 journal日志 Master-Slave的三个服务 Mongos/config/shard服务 Replica Set读写策略 Sharding的实现与原理 三种Mongodb性能优化策略 时间同步，磁盘预读功能，内存管理 内核网络接口 KNI的实现原理 服务端reactor事件封装 libevent接口分析 event_base_new, event_add, event_del, event_base_loop libev的主要数据结构 EV_WATCH, EV_WATCH_LIST libevent与libev性能对比 memcached网络模块分析 接收线程/发送线程/KNI线程 内存数据结构 rte_mbuf, rte_mempool virtio与vhost 端口数据结构 rte_kni, rte_kni_conf, rte_kni_ops, rte_eth_conf 协议数据结构 rte_ether_hdrrte_ipv4_hdr, rte_udp_hdr 数据处理接口 rte_eth_rx_burst,rte_kni_tx_burst,rte_pktmbuf_mtod fastdfs架构分析 快速配置fastdfs 上传文件逻辑分析 下载文件逻辑分析 tracker，storage分析 存储机制 支持断点续传 相同文件内容只保存一份 同步机制 线性扩容 如何实现高可用 负载均衡 fastdfs-nginx-module模块分析 fastcgi请求与响应 nginx与fastcgi如何通信 nginx-fastcgi-fastdfs如何实现上传下载 文件传输和接口设计 云盘接口设计 云盘数据库设计 云盘文件上传，下载功能实现 云盘源码业务流程实现 使用云服务器的各种坑分析 fiddler监控http请求，postman模拟请求 wrk测试接口吞吐量 jmeter压力测试 接入层、逻辑层、持久层架构划分 消息实时性分析 即时通讯数据库设计 单聊、群聊消息原理 群成员管理 未读消息原理 池化技术的使用 快速配置IM项目 protobuf通信协议设计 数据库分表设计 reactor百万并发模型 login_server负载均衡 登录请求响应模型 请求登陆逻辑 最近联系会话逻辑 查询用户在线主题 未读消息机制 单聊消息推拉机制 群聊消息推拉机制 路由转发机制 main函数主流程 响应流程 redis缓存 消息计数（单聊和群聊） 未读消息机制 群成员管理 单聊群聊 在线文件传输机制分析 离线文件传输机制分析 etcd微服务注册与发现 docker制作与部署 单元测试案例 testbench如何设计 IM项目性能压测 定制私有功能 云服务器部署 连接池性能的影响的2个因素，tcp连接和mysql认证 连接请求归还策略 连接超时未归还策略 链接断开重连策略 连接数量最优策略 有锁无锁队列性能 内存屏障 Barrier cjson,jsoncpp,repidjson接口应用 json序列化和反序列化 TinyXML2接口应用 XML序列化和反序列化 XML/json不同应用场景 字符集与字符编码的关系 UTF8/UTF16/UTF32具体区别 mysql，redis，nginx使用中的字符集问题分析 zlib数据压缩 手撕zlib压缩与解压 nginx中的zlib实现原理 IM，云平台，nginx，http，redis协议设计 如何保证消息完整性 手撕protobuf IM通信协议 protobuf序列化与反序列化 protobuf编码原理 日志库性能瓶颈分析 异步日志库设计与实现 批量写入与双缓存冲机制 奔溃后的日志找回 lua编程以及lua/c接口编程 udp协议包处理 trex数据包性能测试 dns协议实现 配置文件解析 数据结构 rte_ring vpp使用vmxnet3 DPDK ACL实现数据过滤 vpp web应用 vpp基础库 VPPInfra 高速查找路由表，CAM表 OvS三大组件 ovs-vswitchd, ovsdb-server, openvswitch.ko OvS报文处理机制 OvS 4种数据路径 VXLAN数据协议 task_struct结构数据 smp多核调度 自旋锁的实现 互斥锁的实现 大内核锁 BKL-Big Kernel Lock 消息队列 共享内存 ceph的集群部署 monitor与OSD ceph 5个核心组件 ceph集群监控 ceph性能调调优与benchmark uma与numa的内存结构 tlb的工作原理 mm_struct结构体 file_operation原理 系统调用的流程 ioctl流程 请求中断 通用文件模型 VFS结构 文件操作系统调用 file/inode原理 文件系统数据结构 管理/proc数据项 系统控制机制 sysfs数据结构 挂载文件系统 文件目录操作 sysfs增加数据 Ext2文件系统 Ext3文件系统 Ext4文件系统 fuse使用场景 fuse原理 fuse实现 用户态文件接口实现 资源管理 I/O调度 BIO结构原理 PCI总线原理 网络结构体 net_device/net_device_ops sk_buff原理 网卡数据中断 网卡 mmap 调度器 stop/rt/deadline/cfs/idle 调度策略 SCHED_RR/SCHED_FIFO 进程的生命周期 进程优先级 进程状态迁移 写时复制 分配器原理 slab/slub/slob分配器 不连续页原理 内存映射 伙伴算法 页表与缺页异常 高速缓存 进程内存映射 进程堆栈管理 用户空间与内核空间 系统调用kmalloc/vmalloc 数组无锁队列设计实现 链表无锁队列设计实现 容器化管理 k8s与核心组件 k8s使用场景 k8s 核心组件 APIServer, scheduler, controller manager, kubelet, kube-proxy 网络核心原理 单pod单ip, pod和网络容器 用户认证与namespace设计 项目：MongoDB跨数据中心的数据复制平台 抓取Oplog操作日志 日志分离 日志订阅 数据路由 Cache同步