livein / go_advanced_code

Go进阶编程学习,be a nicer Gopher

高级Goland学习代码 go_advanced_code

目录

Note:目录同级为 代码展示，可在Goland中运行

推荐: goVersion==1.16

第一章 I/O操作

• 1 os操作系统模块
  • 1.1 os中FileInfo底层的文件描述符和相关信息
  • 1.2 os文件操作
  • 1.3 io包底层Reader和Writer接口
    • 1.3.1 os,bytes,strings包
  • 1.4 io断点续传
  • 1.5 FilePath包
    • 1.5.1 walkPath遍历目录及文件(匹配文件名)
• 2 bufio缓存读写
  • 2.1 reader
  • 2.2 writer

---

第二章 协程Goroutine

• 1 线程模型分类及Goroutine切换原则(GPM模型)
  • 1.1 trace查看宏观调度流程(Goroutine启动时长)
• 2 runtime模块和GC
  • 2.1 runtime核心功能及系统信息调用
  • 2.2 Goexit()终止线程
  • 2.3 资源竞争一致性问题分析
    • 2.3.1 问题产生
    • 2.3.2 问题解决
  • 2.4 GC垃圾回收机制(trace查看map垃圾回收)
    • 2.4.1 下次GC的时机
    • 2.4.2 删除Map元素查看GC回收流程
  • 2.5 监控代码性能pprof
    • 2.5.1 标准包runtime/pprof及net/http/pprof使用
    • 2.5.2 第三方包pkg/profile
    • 2.5.3 debug时添加pprof标签定位goroutine
  • 2.6 Linux内存及Go内存结构管理
    • 2.6.1 Linux内存管理
    • 2.6.2 Go内存结构管理
  • 2.7 prometheus监控程序
• 3 多goroutine的缓存一致性(涉及cpu伪共享)
• 4 线程池(池化技术)
  • 4.1 使用channel实现Goroutine最大数量限制(令牌桶方式)
  • 4.2 百万请求处理案例
  • 4.3 第三方包线程池ants
  • 4.4 标准库连接池database/sql实现
• 5 channel导致goroutine泄漏分析及处理
  • 5.1 channel未正常关闭导致goroutine泄漏
  • 5.2 channel监听避免goroutine泄漏

---

第三章 通道Channel

• 1 Channel内部结构及源码分析(含PPT分析)
  • 1.0 channel初始化
  • 1.1 无缓存通道
  • 1.2 父子通信
  • 1.3 死锁
  • 1.4 优雅关闭channel
    • 1.4.1 N 个 sender，一个 receiver
    • 1.4.2 N 个 sender， M 个 receiver
  • 1.5 通道遍历range
  • 1.6 有缓冲channel增强并发
  • 1.7 双向通道
  • 1.8 单向通道
  • 1.9 使用channel传递channel
  • 1.10 happened before
  • 1.11 循环读取关闭的通道值是否阻塞
  • 1.12 select中实现channel优先级-->k8s中实现
• channel应用:TimerChan模块源码分析及使用陷阱
  • 2.1 reset重新等待被触发
  • 2.2 timerStop使用
  • 2.3 TimerAfter给数据库操作增加超时
• 3 Select多路复用
• 4 CSP理论中的Process/Channel

---

第四章 interface和反射

• 1 interface源码分析
  • 1.1 汇编分析不含方法eface和带方法iface
  • 1.2 接口值的零值是指动态类型和动态值都为 nil
  • 1.3 打印出接口的动态类型和值
• 2 反射
  • 2.1 反射三大定律
  • 2.2 类型断言及性能分析
  • 2.3 获取结构体字段及获取方法
  • 2.4 reflect.Value修改值，调用结构体方法，调用普通方法
  • 2.5 反射性能优化演变案例
  • 2.6 反射深度比较引用类型

---

第五章 切片和数组

• 1 值传递-数组
• 2 引用传递-指针切片和指针数组
• 3 切片和数组参数传递性能对比
• 4 底层数据结构
  • 切片数据结构及拷贝copy源码分析
  • 数组数据结构
• 5 nil切片和空切片
• 6 扩容策略
• 7 不同类型的切片间互转
• 8 带索引初始化数组和切片
• 9 使用copy替代原切片进行切片

---

第六章 指针

• 1 指针类型转换及修改值
• 2 指针分类及unsafe包使用
  • 指针修改结构体成员
  • 指针获取切片长度和容量
  • 指针获取Map的元素数量
• 3 获取并修改结构体私有变量值
• 4 切片与字符串零拷贝互转(指针和反射方式)
• 5 结构体的内存对齐

---

第七章 系统调用

• 1 自定义kqueue服务器（涉及各种linux系统调用）
• 2 使用strace工具追踪系统调用

第八章 defer函数及汇编语言理解

• 1 注册延迟调用机制定义及使用
• 2 defer陷阱
• 3 分阶段解析defer函数
• 4 defer循环性能问题
• 5 汇编理解defer函数(AMD)

第九章 设计模式-OOP七大准则

• 1 创建型模式
  • 1.1 静态工厂模式-->new关键字函数实现简单工厂
  • 1.2 工厂方法模式-->k8s中实现
  • 1.3 单例模式-->标准库strings/replace实现
  • 1.4 原型模式-->confluent-kafka中map实现
  • 1.5 建造者模式-->xorm,k8s,zap中实现
• 2 结构型模式
  • 2.1 组合模式
    • 2.1.1 修改前：使用面向对象处理
    • 2.1.2 修改后：使用组合模式处理
  • 2.2 装饰模式-->grpc源码体现
    • 2.2.1 闭包实现--多个装饰器同时使用
    • 2.2.2 结构体装饰
    • 2.2.3 反射实现--泛型装饰器
  • 2.3 享元模式-->线程池,缓存**
  • 2.4 适配器模式
  • 2.5 桥接模式
  • 2.6 门面模式(外观模式)-->在gin中render应用(封装多个子服务)
  • 2.7 代理模式
• 3 行为型模式
  • 3.1 访问者模式-->k8s中kubectl实现
  • 3.2 迭代器-->标准库container/ring中实现
  • 3.3 状态模式
  • 3.4 责任链模式
  • 3.5 模版模式
  • 3.6 策略模式-->if-else的另类写法(内部算法封装)
  • 3.7 解释器模式
  • 3.8 命令模式-->go-redis中实现
  • 3.9 备忘录模式
  • 3.10 观察者模式-->官方Signal包及etcd的watch机制
  • 3.11 中介者模式
• 4 函数选项:成例模式-->在日志库zap中实现
  • 4.1 未使用函数选项初始化结构体的现状
  • 4.2 区分必填项和选项
  • 4.3 带参数的选项模式
    • 不返回error
    • 返回error
• 5 插件式编程-->grpc中实现
• 6 同步模式(sync同步原语以及扩展原语)
  • 6.1 waitGroup同步等待组对象
  • 6.2 使用互斥锁（sync.Mutex）实现读写功能和直接使用读写锁（sync.RWMutex）性能对比
    • 6.2.1 使用互斥锁（sync.Mutex）实现读写功能
    • 6.2.2 直接使用读写锁（sync.RWMutex）实现读写功能
    • Mutex和RWMutex源码分析
  • 6.3 Once源码分析
  • 6.4 并发安全的sync.Map与sync.RWMutex封装的map对比及源码分析
  • 6.5 Pool对象池模式( 非连接池 !）-->官方包对象池fmt
    • 6.5.1 错误使用：未使用newFunc
    • 6.5.2 newFunc与GC前后Get对比
    • 6.5.3 何时使用对象缓存
    • 6.5.4 第三方对象池object pool(bytebufferpool)
  • 6.6 Cond条件变量通知所有协程及NoCopy机制-->熔断框架hystrix-go实现
  • 6.7 atomic原子操作源码分析-->zerolog源码中实现
    • 6.7.0 Value的load和store
    • 6.7.1 add及补码减
    • 6.7.2 cas算法和自旋锁
    • 6.7.3 load和store用法
    • 6.7.4 swap交换
  • 6.8 ErrorGroup获取协程中error
    • 6.8.1 不带context
    • 6.8.2 带context
  • 6.9 信号量Semaphore
  • 6.10 SingleFlight避免缓存击穿
    • 6.10.1 Do方法
    • 6.10.2 DoChan方法

第十章 函数式编程

• 1 函数
  • 1.1 闭包基本使用
  • 1.2 匿名函数应用:回调函数
  • 1.3 函数模版:定义行为
• 2 高级函数filter,map,reduce
  • 2.1 简单实现filter,map,reduce
  • 2.2 简单案例
  • 2.3 复杂实现：泛型及类型检查
  • 2.4 一个应用依托于很多服务,在没有强依赖关系下,优雅地实现并发编排任务
• 3 一等公民案例
  • 网络管理中问题需求
  • 网络管理中三种处理对比
    • 3.1 通过同享内存通信
    • 3.2 通过通信(具体数据)共享内存
    • 3.3 通过通信(函数)共享内存

第十一章 汇编理解go语言底层源码(AMD芯片运行代码)

• 1 汇编基本指令
• 2 plan9汇编
  • 2.1 变量var，常量constant
  • 2.2 array数组
  • 2.3 bool类型
  • 2.4 int,int32,uint32类型
  • 2.5 float32，float64类型
  • 2.6 slice切片([]byte)
  • 2.7 引用类型map和channel
  • 2.8 函数申明及实现
    • Go源码中stack操作
  • 2.9 局部变量
  • 2.10 流程控制
  • 2.11 伪寄存器 SP 、伪寄存器 FP 和硬件寄存器 SP关系
  • 2.12 结构体方法
  • 2.13 递归函数
  • 2.14 闭包函数
  • 2.15 GoroutineId获取
  • 2.16 汇编调用非汇编Go函数
• 3 Golang底层数据结构-涉及数值类型占用的bit
  • 3.1 Map底层结构
    • map的指针优化场景
  • 3.2 String底层结构,字符集和字符编码,性能分析及内存泄漏分析
  • 3.3 Struct底层结构,内存布局,空结构体内存对齐

第十二章 网络编程net

• socket介绍

• tcp介绍

• epoll多路复用底层实现及Golang封装

• 1 http服务端高级封装演变

  • 1.1 使用DefaultServeMux
  • 1.2 使用内置serveMux生成函数
  • 1.3 自定义实现serveMux

• 2 爬虫获取邮箱案例(http客户端源码分析)

  • 2.1 request源码
  • 2.2 response源码
  • 2.3 transport源码

• 3 Tcp实现客户端及服务端(服务端netpoll分析)

  • 客户端
  • 服务端

• 4 Tcp黏包分析及处理(大小端介绍)

  • 4.1 TCP粘包问题
  • TCP粘包解决方式

• 5 fastHttp(源码分析)

  • 5.1 服务端
  • 5.2 客户端

• 6 优雅退出原理分析-涉及linux信号介绍（go-zero实践）

  • 6.1 信号监听处理

• 7 URL的解析 Parse，query 数据的转义与反转义

第十三章 CGO调用C语言

cgo在confluent-kafka-go源码使用

Note:内部运行代码待优化

• 1 Go调用自定义C函数-未模块化
• 2 Go调用自定义C函数-模块化
• 3 Go重写C定义函数
• 4 cgo引入其他包的变量错误
• 5 #Cgo语句
• 6 Go获取C函数的errno
• 7 C的void返回
• 8 Go调用模块化C++库
• 9 调用静态C库
• 10 调用动态C库
• 11 Golang使用pkg-config自动获取头文件和链接库的方法

第十四章 Context上下文-源码分析涉及父类EmptyCtx

• 1 Context使用背景
  • 1.1 问题：如何通过父进程优雅释放子goroutine资源
  • 1.2 方式一：全局参数方式解决的优缺点
  • 1.3 方式二: 通道channel方式解决的优缺点
  • 1.4 方式三: 最优方式Context
• 2 WithCancel使用
• 3 WithDeadline使用
• 4 WithValue使用
• 5 WithTimeout对WithDeadline封装的使用

第十五章 接口嵌套编程

• 1 常见冗余代码写法
• 2 简单优化
• 3 更优方式

第十六章 并发编程

• 1 简单流水线模型
• 2 FAN-IN和FAN-OUT模型

第十七章 数据结构及算法

• 1 queue双端单向队列(泛型)
• 2 加解密
  • 2.1 对称式加密
    • aes高级加密标准
      • Cipher FeedBack密码反馈模式
      • Cipher Block Chaining密码分组链接模式
    • des美国数据加密标准
  • 2.2 数字签名(hmac,md5,sha1,sha256)
    • MD5信息摘要算法
    • hmac
    • SHA安全散列算法secure Hash Algorithm
  • 2.3 非对称加密算法rsa
    • 分段与不分段进行加解密
• 3 随机算法（伪随机和真随机)
  • 3.1 math_rand使用
  • 3.2 crypto_rand使用
  • 3.3 fastrand优化使用
• 4 排序算法分类及图解(sort包源码分析)
  • 4.1 不同结构体切片根据反射排序，map根据key排序
• 5 Jwt源码分析及中间件使用
• 6 Privacy Enhanced Mail Certificate (pem文件)生成
• 7 Base64编码解析
• 8 trie前缀树

第十八章 错误跟踪和panic

• 0 错误(err)和异常（exception）区别及处理方式
• 1 自定义错误类型打印错误栈
• 2 扩展包pkg.errors
• 3 Gin的错误recover分析(panic和recover源码分析)
• 4 errCode错误码自动化生成
• 5 error如何正确比较
• 6 收集多个errors-->go-multierror实现

第十九章 nil预定义标识

• 1 不同类型为nil时的地址和size大小
• 2 不同类型与nil的比较
  • interface为nil时:数据段和类型
  • nil==nil不可以比较
  • ptr,channel,func,map为nil必须地址未分配
  • slice的长度和容量不决定nil
• 3 不同类型nil时的特点
  • channel为nil时的接收，发送，关闭及select
  • map为nil时可读不可写
  • 结构体指针为nil时是否可以调用方法

第二十章 for-range源码分析

• 1 遍历数组,切片,结构体数组
• 2 正确遍历Goroutine(解析协程启动时间)
• 3 遍历Map(增加或删除map元素时)

第二十一章 time标准包源码分析

• 1 比time.Now()更优雅获取时间戳（go:link技术）

第二十二章 数据驱动模板-kratos工具生成

• 1 加载多个模版
• 2 自定义模版函数

第二十三章 调试内部对象

• 1 fmt打印结构体中含有指针对象, 数组或者map中是指针对象, 循环结构时的困难
• 2 go-spew优化调试

第二十四章 Flag命令行参数

• 1 基本使用及自定义帮助信息