mylinyuzhi / blog

notes on papers/books/codes

建议看html版本

个人技术博客

读书笔记

Design Data Intensive Application

• Consistency And Consensus
• Transactions

Specifying System

• 基本定义概念整理

代码阅读笔记

Golang

• Runtime PGM调度模型
• Goroutine stack
• Go 内存分配
• GC
• Context
• defer, panic, recover

Kafka

• log日志存储管理
• Partition
• Controller 主要功能
• Controller 通信管理 channelManager
• Controller 选举
• Controller zk监听
• Controller 副本迁移
• Partition/Replica状态机
• 读写消息
• client: producer
• group coordinator
• 事务
• Stream流处理

LevelDB

• 代码模块间关系
• Read 流程
• Write 流程
• SSTable 文件格式和读写
• versionset和Manifest文件
• Compact
• Iterator迭代器

RocksDB

• 主要struct引用关系
• Write Ahead Log
• write 并发控制
• 后台flush和compact线程
• Leveled Compaction Picker
• read 流程
• Blob
• 事务
  • Optimistic Transaction
  • Transaction lock mgr
  • two phase commit

TiDB

• tidb学习资料整理
• Server Main Loop
• Insert 语句
• Select 语句
• 数据类型
• expression
• Online DDL
  • Schema 存储
  • Schema Cache和加载
  • Schema Modification
  • Online Schema Change
• 统计信息
  • 基本概念
  • stats tables
  • Analyze
  • Query Feedback
  • 统计信息使用场景
• Logical Optimize
• Physical Optimize
• DataSource
  • buildDataSource
  • 索引范围计算
  • table/index存储编码
  • paritionProcessor
  • PredicatePushDown
  • Physical Optimize
  • Executors
• DistSQL
  • ReginCache
  • TiKV GRPC Client
  • CopTask
  • CopIteratorWorker
  • Coprocessor
• Join
  • Join算法
  • Logical Optimize
  • Physical Optimize
  • Executor: Hash Join
  • Executor: Merge Join
  • Executor: Index Lookup Join
• Agg
  • AggFunc
  • Executor: HashAgg
  • Executor: StreamAgg

TiKV

• raft-rs
  • RawNode
  • Storage
  • ProgressTracker
  • Hearbeat
  • Election
  • LogEntry
  • Snapshot
  • ConfChange
  • ReadIndex
• RaftKV
  • BatchSystem
  • RaftMessage
  • Raft Client
  • Region
  • PeerStorage
  • Thread Local Engine
  • Leader Lease
  • Read Index
  • Async Snapshot
  • Async Write
  • Region Epoch
  • Conf Change
  • Split Region
  • Merge Region
• Storage
  • Percolator
  • Percolator In TiKV
  • 2PC
  • AsyncCommit
  • OnePC
  • 悲观事务
  • Resolve Lock
  • Scheduler
  • Wait Lock
  • 死锁检测
  • TiDB分组提交
  • Scanner
• Coprocessor
  • RpnExpression
  • AggrFunction
  • BatchExecutor
    • RangesScanner
    • ScanExecutor
    • Selection
    • AggExecutor
• yatp

Tokio

• Executor: 执行future Executor主要作用是spawn future，将future转换为相应的task，然后由runtime去执行task，不断的调用future的poll接口, 直到future complete 或者fail。
  • Park 线程block/unblock抽象 Park是对当前线程block和unblock操作的抽象, 和std的park/unpark操作来比，在线程被blocked的时候，可以去调用一些定制化的功能。
  • thread pool runtime tokio 使用了crossbeam中的Queue, Stealer, Worker等来实现线程池。采用work steal机制来保证任务均匀分配。
• Driver: mio事件驱动 Driver 在io event事件触发后，唤醒等待的task。
• Io: async read/write 等抽象

Tensorflow

• Executor: 执行Computation Sub Graph
  • SubGraph预处理：Node/NodeItem/TaggedNode
  • Flow control op: switch/merge/enter/exit/nextIteration
  • Frame: ControlFlowInfo/FrameInfo/FrameState/IterationState
• DirectSession: 单机执行computation graph
• RendezVous：跨设备，跨主机通信
• Device：计算单元抽象(CPU/GPU)