oldratlee / useful-scripts

🐌 useful scripts for making developer's everyday life easier and happier, involved java, shell etc.

🐌 useful scripts for making developer's everyday life easier and happier, involved java, shell etc.

👉 平时有用的手动操作做成脚本，以便捷地使用，让开发的日常生活更轻松些。 💕

欢迎 👏 💖

• 提问，提交 Issue
• 分享平时自己常用但没有写成脚本的功能（即需求、想法），提交Issue
• 优化改进，Fork 后提通过 Pull Request 贡献代码
• 提供的自己好用脚本实现，Fork 后提通过 Pull Request 提供

本仓库的脚本（如Java相关脚本）在阿里等公司（如随身云，见awesome-scripts仓库说明）的线上生产环境部署使用。

如果你的公司有部署使用，欢迎使用通过 Issue：who's using | 用户反馈收集 告知，方便互相交流反馈～ 💗

---

• 🔰 快速下载&使用
• 📚 使用文档
  • ☕ Java相关脚本
  • 🐚 Shell相关脚本
• 🎓 Developer Guide
  • 🎯 面向开发者的目标
    • 关于Shell脚本
  • 🚦 开发约定
  • 📚 Shell学习与开发的资料

---

🔰 快速下载&使用

source <(curl -fsSL https://raw.githubusercontent.com/oldratlee/useful-scripts/release-3.x/test/self-installer.sh)

更多下载&使用方式，参见下载使用。

📚 使用文档

☕ Java相关脚本

1. show-busy-java-threads
   用于快速排查Java的CPU性能问题(top us值过高)，自动查出运行的Java进程中消耗CPU多的线程，并打印出其线程栈，从而确定导致性能问题的方法调用。
2. show-duplicate-java-classes
   找出jar文件和class目录中的重复类。用于排查Java类冲突问题。
3. find-in-jars
   在目录下所有jar文件里，查找类或资源文件。

🐚 Shell相关脚本

Shell使用加强：

1. c
   原样命令行输出，并拷贝标准输出到系统剪贴板，省去CTRL+C操作，优化命令行与其它应用之间的操作流。
2. coat and taoc
   彩色cat/tac出文件行，方便人眼区分不同的行。
3. a2l
   按行彩色输出参数，方便人眼查看。
4. uq
   不重排序输入完成整个输入行的去重。相比系统的uniq命令加强的是可以跨行去重，不需要排序输入。
5. ap and rp
   批量转换文件路径为绝对路径/相对路径，会自动跟踪链接并规范化路径。
6. cp-into-docker-run
   一个Docker使用的便利脚本。拷贝本机的执行文件到指定的docker container中并在docker container中执行。
7. tcp-connection-state-counter
   统计各个TCP连接状态的个数。用于方便排查系统连接负荷问题。
8. xpl and xpf
   在命令行中快速完成 在文件浏览器中 打开/选中 指定的文件或文件夹的操作，优化命令行与其它应用之间的操作流。

Shell开发/测试加强：

1. echo-args
   输出脚本收到的参数，在控制台运行时，把参数值括起的括号显示成 红色，方便人眼查看。用于调试脚本参数输入。
2. console-text-color-themes.sh
   显示Terminator的全部文字彩色组合的效果及其打印方式，用于开发Shell的彩色输出。
3. parseOpts.sh
   命令行选项解析库，加强支持选项有多个值（即数组）。

🎓 Developer Guide

为用户提供有用的功能，当然是这个库的首要的价值体现和存在理由。

但作为一个开源项目，每个人都可以看到源码实现，这个库或许能做得更多。

🎯 面向开发者的目标

• 将Shell/Bash作为线上生产环境使用的专业编程语言。
• 期望体现Shell/Bash脚本 生产环境级的严谨开发方式与最佳实践，进而有可能示例与改善在生产环境中Shell脚本的质量状况。

PS：

• 虽然上面是自己期望的目标，但自己在Shell语言上一定会有很多理解和使用上的问题、在这些实现脚本中也会很多需要的改进，可以一起学习、讨论与实践～ 💕
• 这个库中脚本的实现也有使用Python。

关于Shell脚本

命令行（CLI）几乎是每个程序员每天都在使用的工具。相比图形界面工具（GUI），命令行有着自己不可替代的便利性和优越性。

命令行里写出来其实就是Shell脚本，可以说每个开发者会写Shell脚本（或多或少）。在生产环境的功能实现中，也常会看到Shell脚本（虽然不如主流语言那么常见）。

可能正因为上面所说的Shell脚本的便利性和大众性：

• Shell脚本有不少是顺手实现的（包括生产环境用的Shell脚本）；
• Shell脚本的实现常常可能质量不高，会引发线上严重的故障。

🚦 开发约定

在这个库中的Shell脚本：

• 统一使用Bash 3.2+；
• 面向生产环境，尽可能使用严谨安全的开发方式。

Shell用Bash的原因是：

• 目前仍然是主流的Shell，并且在不同环境基本上都缺省部署了。
• 在Google的Shell风格指南中，明确说到了：Bash是唯一被允许执行的shell脚本语言。
• 统一用Bash，可以避免不同Shell之间差异所带来的风险与没有收益的复杂性。
  • 有大量的Shell实现，sh、bash、zsh、fish、csh、tcsh、ksh、ash、dash……
  • 不同的Shell有各种差异，深坑勿入。
• 个人系统学习过的是Bash，比较理解熟悉。

PS: 虽然交互Shell个人已经使用Zsh + oh-my-zsh，但在严谨的Shell脚本开发时还是使用Bash。

📚 Shell学习与开发的资料

更多资料参见 子文档。

• 🛠️ 开发规范与工具
  • Google Shell Style Guide | 中文版
  • koalaman/shellcheck: ShellCheck, a static analysis tool for shell scripts
  • mvdan/sh(shfmt): shfmt formats shell programs
• 👷 Bash/Shell最佳实践与安全编程文章
  • Use the Unofficial Bash Strict Mode (Unless You Looove Debugging)
  • Bash Pitfalls: 编程易犯的错误 - 团子的小窝：Part 1 | Part 2 | Part 3 | Part 4 | 英文原文：Bash Pitfalls
  • 不要自己去指定sh的方式去执行脚本
• 🎶 Tips
  • 让你提升命令行效率的 Bash 快捷键 【完整版】
    补充：ctrl + x, ctrl + e 就地打开文本编辑器来编辑当前命令行，对于复杂命令行特别有用
  • 应该知道的Linux技巧 | 酷 壳 - CoolShell
  • 简洁的 Bash Programming 技巧 - 团子的小窝：Part 1 | Part 2 | Part 3
• 💎 系统学习 — 看文章、了解Tips完全不能替代系统学习才能真正理解并专业开发！
  • 《Bash Pocket Reference》
    力荐！说明简单直接结构体系的佳作，专业Bash编程必备！且16年的第二版更新到了新版的Bash 4
  • 《学习bash》 上面那本的展开版
  • 官方资料
    • bash man | 中文版
    • Bash Reference Manual - gnu.org | 中文版
      Bash参考手册，讲得全面且有深度，比如会全面地讲解不同转义的区别、命令的解析过程，这有助统一深入的方式认识Bash整个执行方式和过程。这些内容在其它书中往往不会讲（因为复杂难于深入浅出的讲解），但却一通百通的关键。
  • Advanced Bash-Scripting Guide: An in-depth exploration of the art of shell scripting.
  • 命令行的艺术 - jlevy/the-art-of-command-line
  • awesome-lists/awesome-bash: A curated list of delightful Bash scripts and resources.
  • alebcay/awesome-shell: A curated list of awesome command-line frameworks, toolkits, guides and gizmos.
  • 更多书籍参见个人整理的书籍豆列 Bash/Shell

useful-scripts's Issues

重命名仓库名：useful-shells -> useful-scripts

因为不仅使用shell，也可以使用python、ruby等脚本语言来实现，因为：

• 这些语言可以更方便的实现功能。
• 这些脚本语言也是系统的标配，一样的可以保证方便直接就可运行。

add bash/shell programming best practice in documentation

👷 Bash/Shell最佳实践与安全编程

• Google Shell Style Guide
  • https://google.github.io/styleguide/shell.xml
  • 中文版 https://zh-google-styleguide.readthedocs.io/en/latest/google-shell-styleguide/background/
• 编写可靠shell脚本的八个建议
  https://www.xshell.net/shell/1577.html
• Bash Pitfalls: 编程易犯的错误 - 团子的小窝
  • http://kodango.com/bash-pitfalls-part-1
  • http://kodango.com/bash-pitfalls-part-2
  • http://kodango.com/bash-pitfalls-part-3
  • http://kodango.com/bash-pitfalls-part-4
• Shell 编码风格 - 团子的小窝
  http://kodango.com/shell-script-style
• Bash 优良编程实践
  http://blog.jobbole.com/93447/
• 不要自己去指定sh的方式去执行脚本
  #57 (comment)
• Use the Unofficial Bash Strict Mode (Unless You Looove Debugging)
  http://redsymbol.net/articles/unofficial-bash-strict-mode/
• koalaman/shellcheck: ShellCheck, a static analysis tool for shell scripts
  https://github.com/koalaman/shellcheck

🎶 Tips

• 让你提升命令行效率的 Bash 快捷键 【完整版】
  https://linuxtoy.org/archives/bash-shortcuts.html
  补充：ctrl + x, ctrl + e 就地打开文本编辑器来编辑当前命令行，对于复杂命令行特别有用
• 应该知道的Linux技巧 | | 酷 壳 - CoolShell
  https://coolshell.cn/articles/8883.html
• 简洁的 Bash Programming 技巧 - 团子的小窝
  • http://kodango.com/simple-bash-programming-skills
  • http://kodango.com/simple-bash-programming-skills-2
  • http://kodango.com/simple-bash-programming-skills-3
• Bash 测试和比较函数 — test、[、[[、((、和 if-then-else 解密
  https://www.ibm.com/developerworks/cn/linux/l-bash-test.html
• Filenames and Pathnames in Shell (bash, dash, ash, ksh, and so on): How to do it Correctly
  https://dwheeler.com/essays/filenames-in-shell.html
• 理解 IFS - 团子的小窝
  http://kodango.com/understand-ifs
• shell中的IFS详解 – 笑遍世界
  http://smilejay.com/2011/12/bash_ifs/
• Bash脚本：怎样一行行地读文件（最好和最坏的方法）
  http://blog.jobbole.com/72185/
• Shell 脚本避免多次重复 source - 团子的小窝
  http://kodango.com/avoid-repeated-source-in-shell
• 一个奇怪的 echo 结果 - 团子的小窝
  http://kodango.com/a-strange-echo-result
• 浅谈 Shell 脚本配置文件格式 - 团子的小窝
  http://kodango.com/config-file-format-in-shell
• Bash function 还能这么玩 - 团子的小窝
  http://kodango.com/bash-functions
• Bash 获取当前函数名 - 团子的小窝
  http://kodango.com/get-function-name-in-bash
• Zsh和Bash，究竟有何不同 坑很深
  https://www.xshell.net/shell/bash_zsh.html

💎 系统学习

看文章、了解Tips完全不能替代系统学习才能真正理解并专业开发！

• Bash Pocket Reference
  力荐！说明简单直接结构体系的佳作，专业Bash编程必备！且更新到了新版的Bash 4
• 学习bash
  上面那本的展开版
• Bash的官方手册（man的中文译文）
  http://ahei.info/chinese-bash-man.htm
• Bash Reference Manual http://www.gnu.org/software/bash/manual/
  官方文档，讲得全面且有深度，比如会全面地讲解不同转义的区别、命令的解析过程，这有助统一深入的方式认识Bash整个执行方式和过程。这些内容在其它书中往往不会讲（因为复杂难于深入浅出的讲解），但却一通百通的关键。
• 命令行的艺术- github.com/jlevy/the-art-of-command-line
• wzb56/13_questions_of_shell: shell十三问--shell教程 https://github.com/wzb56/13_questions_of_shell
  • 信息来自 https://github.com/KeKe-Li/book#linux
• alebcay/awesome-shell: A curated list of awesome command-line frameworks, toolkits, guides and gizmos. Inspired by awesome-php.
  https://github.com/alebcay/awesome-shell
• 实用 Shell 文档 - 团子的小窝
  http://kodango.com/useful-documents-about-shell

更多参见 书籍豆列 Bash/Shell

parseOpts：提供clearOpts函数，在解析出错时，清空不完整的数据

show-busy-java-threads.sh提供Process分组的模式

$ show-busy-java-threads.sh --process-group
...

每个Java进程显示CPU消耗最高的5个线程，而不是所有Java进程中的。

find-in-jars.sh支持在指定的目录下查找Jar文件

确认是否需要整理rsync的使用脚本

rsync已经很强大了，觉得不需要整理和Wrapper了

提供重复Java依赖的脚本

java开发的一个麻烦的问题是jar冲突，或者说多个版本的jar。

会出NoSuchMethod等的问题，还不见得当时出问题。

这个脚本找出有重复类的jar，用于防患未然。

parseOpts：添加测试Case

#17 已经列了一些Test Case

parseOpts兼容Bash 3.0

支持bash 3.0，要修改2点：

• local声明数组变量时 要加上 -a
• += 不支持，即a+=xxx改成a="$a xxx"

多谢 @khotyn

• 提出bash 3.0下使用有问题
• 提供bash 3.0的测试机器，以完成环境测试

bash 3.0测试机器信息：

$ bash --version
GNU bash, version 3.00.15(1)-release (i386-redhat-linux-gnu)
Copyright (C) 2004 Free Software Foundation, Inc.
$ uname -a
Linux sofatest-1.stack.alipay.net 2.6.9-103.ELxenU #1 SMP Wed Mar 14 16:31:15 CST 2012 i686 i686 i386 GNU/Linux

cp-svn-url.sh支持指定svn work directory

为何执行不过去呢？脚本需要什么参数吗

➜  useful-scripts git:(release) sh show-busy-java-threads.sh  -c 10
head: illegal option -- -
usage: head [-n lines | -c bytes] [file ...]

use sh unit test framework | 使用sh单元测试框架

shUnit2 is a xUnit unit test framework for Bourne based shell scripts

show-busy-java-threads support MacOS

• Mac下使用解析命令行参数出错。Mac的getopt不兼容GNU。
  • 这个不是问题。自己手动来解析 来实现即可。
• Mac下show-busy-java-threads出错。Mac的ps不兼容GNU。
  • 比如 不支持 输出 线程ID（即 -L 选项）。
    • Mac下的ps的-L是：
      List the set of keywords available for the -O and -o options.

jar assembly tool: assembly-jar.sh

User need assemble all dependent files to one jar file when building Spark application.
https://spark.apache.org/docs/latest/submitting-applications.html

The tool let user build assembly jar without using sbt/maven plugin.
@adrian-wang @liyezhang556520

打开文件浏览器

parseOpts支持配置文件定义参数说明

重构脚本，更安全更严谨

show-busy-java-threads.sh支持显示指定的线程栈数

添加彩色输出隔行的脚本colorful-lines

improve find-in-jars: color grep match pattern

show-busy-java-threads显示的线程栈信息只有一行

显示的线程栈信息太少了，只有一行，对排查帮助不大，能否加一个参数显示日志的行数。

ps和 top的CPU使用率定义不一样。是否可以修改一个top的版本

ps的cpu使用率和top的cpu使用率计算公式是不一样的。我需要抓一个瞬间增高的CPU使用率。ps取出来的就不正确。希望可以修改成使用top的方式分析CPU使用率。

https://gist.github.com/sdslnmd/6060738
我粗略的写了一个临时用。

确认是否需要整理远程批量执行的脚本

• 是否关注免密码的问题，应该直接交给ssh的使用方案？

java-busy-thread 中 printStackOfThread 函数的性能优化

#!/bin/bash

printStackOfThread_new() {
  while IFS=" " read -a line ; do
    local pid=${line[0]}
    local threadId=${line[1]}
    local threadId0x=`printf %x ${threadId}`
    local user=${line[2]}
    local pcpu=${line[4]}
  done
}


printStackOfThread() {
  while read threadLine ; do
    local pid=`echo ${threadLine} | awk '{print $1}'`
    local threadId=`echo ${threadLine} | awk '{print $2}'`
    local threadId0x=`printf %x ${threadId}`
    local user=`echo ${threadLine} | awk '{print $3}'`
    local pcpu=`echo ${threadLine} | awk '{print $5}'`
  done
}

test() {
  ps -Leo pid,lwp,user,comm,pcpu --no-headers| {
    [ -z "${pid}" ] && awk '$4=="java"{print $0}'|| awk -v "pid=${pid}" '$1==pid,$4=="java"{print $0}'
  } | printStackOfThread
}

test_new() {
  ps -Leo pid,lwp,user,comm,pcpu --no-headers| {
    [ -z "${pid}" ] && awk '$4=="java"{print $0}'|| awk -v "pid=${pid}" '$1==pid,$4=="java"{print $0}'
  } | printStackOfThread_new
}

time test
time test_new

快9倍

real    0m0.361s
user    0m0.013s
sys     0m0.040s
----
real    0m0.043s
user    0m0.012s
sys     0m0.015s

望采纳~

parseOpts：子函数加上前缀_opts避免命名冲突

说明show-duplicate-java-classes查找Android重复类的过程

jmap可快速查jvm中最大对象

海豹归来提的：
http://weibo.com/1611407701/zncH07tOW

文档中添加parseOpts的如何获取选项设置值的示例

如 选项有没有设置过，设置的值是什么

多个脚本的工具函数放到一个公共脚本中，source进来

减少代码冗余。

添加parseOpts的文档说明

show-busy-java-threads.sh很好用，提供一个简单的脚本

#!/bin/bash
url=$(svn info | grep "^URL" | awk '{print $2}')
echo $url
echo -n $url | pbcopy

简单的一个， 经常要查看svn 分支，然后拷贝，写个简单的脚本可以省去鼠标拷贝svn url信息
(mac 下测试过，linux 可以将 pbcopy替换成对应的命令.)

svn-url脚本加强，支持git

• 支持git（可以目录的.git .svn 自动判断 ）
• svn-url -> scm-url.sh

@ivanzhangwb 你来加强？ ;-)

判断是否有多余声明的全局变量

可以在测试代码前后使用env，如果后面的一个env输出的变量比预期的多，则多声明了不需要的全局变量

parseOpts: 短选项支持直接跟值，长选项指定等号的方式指定值

parseOpts "a,a-long:|b,b-long:|c,c-long+" -avalue1 --b-long=v2

[ -z "${var}" ] && var=value的用法改成使用Bash变量语法

[ -z "${var}" ] && var=value

=>

${var:-value}

参见： bash变量分析

parseOpts：检查函数，没有使用全局变量

除了下面的全局变量：

 * _OPT_INFO_LIST_INDEX : Option info, data structure.
                          _OPT_INFO_LIST_INDEX ->* _a_a_long -> option value.
 * _OPT_VALUE_* : value of option. is Array type for + mode option
 * _OPT_ARGS : option arguments

PS：
perl可以use strict，即变量使用前必须声明。
搜了一下Bash，没有找到类似的功能，先人肉检查代码，在变量使用前先中先用local声明。
这样来保证在函数中没有导出不预期的全局变量。

show-busy-java-threads.sh 中能否添加指定process id的功能?

因为在一台服务器上可能有多个jvm实例,希望能提供此功能

show-duplicate-java-classes 整合上 相似度 功能

详见 https://hongjiang.info/duplicate-classes-check-script/

实现解析函数ParseOpts：支持选项的值是数组

选项的值是数组。find命令的-exec选项即是数组类型的：

find . -exec echo -e {} \;

上面Case的-exec的值是 echo -e {}，包含了3个元素。

实际上这个选项可以多次指定：

find . -exec echo "find file:" \; -exec echo -e {} \; 

测试Case

• 没有参数：
  parsh.sh
• 长短选项都能读到的值，且一样：
  echo "$_OPT_VALUE_a $_OPT_VALUE_a_long"
• 支持不同位置的参数，开头、中间、--之后：
  ./parse.sh 00 -a -c c.sh a b \; -b x aa bb cc -- dd ee

xpf脚本在帮助中显示的脚本名，应该是xpf，而不是xpl

xpf是调用xpl的。改成在xpf中source xpl，先调整好脚本参数

getopt处理带值的选项要shift 2

命令用于管道时，则不要彩色输出

show-busy-java-threads.sh会彩色输出。

parseOpts的参数值是数组时，支持可以把数组参数结束的分隔符";"，指定成其它的的符号

这样当数组参数值中也有";"也可以能够处理。

提供根据种子生成一个强密码的脚本

add english documentations

文档中说明脚本支持的系统及其版本

提供one-line的安装useful-shells

参考Homebrew：

ruby -e "$(curl -fsSL https://raw.github.com/Homebrew/homebrew/go/install)"

remove sh file name suffix for shell script

parseOpts参数说明修饰加强，支持参数是否是必选

parseOpts: separate test code and lib code