okashoi / isucon-practice-20200718

Blog / Twitter / Slides

This card is powered by https://github.com/anuraghazra/github-readme-stats

isucon-practice-20200718's Issues

SlowQueryと戦う

mysql> show variables like 'long%'
    -> ;
+-----------------+----------+
| Variable_name   | Value    |
+-----------------+----------+
| long_query_time | 0.100000 |
+-----------------+----------+
1 row in set (0.00 sec)

mysql> show variables like 'slow%';
+---------------------+----------------+
| Variable_name       | Value          |
+---------------------+----------------+
| slow_launch_time    | 2              |
| slow_query_log      | ON             |
| slow_query_log_file | mysql-slow.log |
+---------------------+----------------+
3 rows in set (0.00 sec)

mysql>

設定してあった

現在の設定だと 0.1秒らしい

Session情報のStoreを高速化する

isucon-practice-20200718/app/src/app.go

Lines 174 to 177 in fac5277

	func loadSession(w http.ResponseWriter, r *http.Request) (session *sessions.Session, err error) {
	store := sessions.NewFilesystemStore("/tmp", []byte(sessionSecret))
	return store.Get(r, sessionName)
	}

/tmp/isucon とかにFileでStoreしてる

session情報のやり取りが多くてネックになってるなら Redisとかに置き換える？

N+1っぽい場所を見るぞ

isucon-practice-20200718/app/src/app.go

Lines 256 to 261 in fac5277

	for rows.Next() {
	memo := Memo{}
	rows.Scan(&memo.Id, &memo.User, &memo.Content, &memo.IsPrivate, &memo.CreatedAt, &memo.UpdatedAt)
	stmtUser.QueryRow(memo.User).Scan(&memo.Username)
	memos = append(memos, &memo)
	}

isucon-practice-20200718/app/src/app.go

Lines 316 to 321 in fac5277

	for rows.Next() {
	memo := Memo{}
	rows.Scan(&memo.Id, &memo.User, &memo.Content, &memo.IsPrivate, &memo.CreatedAt, &memo.UpdatedAt)
	stmtUser.QueryRow(memo.User).Scan(&memo.Username)
	memos = append(memos, &memo)
	}

prepared statement用意して、そこに1行読んでうんぬんみたいにしてる。
Joinで行けるのであればそれで良さそうな気がする。

Markdownの生成を考える

isucon-practice-20200718/app/src/app.go

Lines 91 to 106 in fac5277

	"gen_markdown": func(s string) template.HTML {
	f, _ := ioutil.TempFile(tmpDir, "isucon")
	defer f.Close()
	f.WriteString(s)
	f.Sync()
	finfo, _ := f.Stat()
	path := tmpDir + finfo.Name()
	defer os.Remove(path)
	cmd := exec.Command(markdownCommand, path)
	out, err := cmd.Output()
	if err != nil {
	log.Printf("can't exec markdown command: %v", err)
	return ""
	}
	return template.HTML(out)
	},

perlのプログラムで現在生成している。

プロファイラ見て sys.call execとかがネックになってそうならこれを試してみよう
ベンチが通ったら概ね同じMarkdownが生成されてるだろうと思って良さそう。

templateを高速化してみる

https://gist.github.com/catatsuy/e627aaf118fbe001f2e7c665fda48146#template%E3%81%AE%E4%BD%BF%E3%81%84%E6%96%B9

template.FuncMap はテンプレート内で独自の関数を呼び出す際に必要で、移植元の参考実装が使用している場合、実装を合わせるために利用される`

FuncMapでやってるのは

url_for

src/templates/base_bottom.html:<script type="text/javascript" src="{{ url_for "/js/jquery.min.js" }}"></script>
src/templates/base_bottom.html:<script type="text/javascript" src="{{ url_for "/js/bootstrap.min.js" }}"></script>
src/templates/base_top.html:<link rel="stylesheet" href="{{ url_for "/css/bootstrap.min.css" }}">
src/templates/base_top.html:<link rel="stylesheet" href="{{ url_for "/css/bootstrap-responsive.min.css" }}">
src/templates/base_top.html:<link rel="stylesheet" href="{{ url_for "/" }}">
src/templates/base_top.html:<li><a href="{{ url_for "/" }}">Home</a></li>
src/templates/base_top.html:<li><a href="{{ url_for "/mypage" }}">MyPage</a></li>
src/templates/base_top.html:<li><a href="{{ url_for "/signin" }}">SignIn</a></li>
src/templates/index.html:  <a href="{{ url_for "/memo/" }}{{ .Id }}">{{ first_line .Content }}</a> by {{ .Username }} ({{ .CreatedAt }})
src/templates/memo.html:<a id="older" href="{{ url_for "/memo/" }}{{ .Older.Id }}">&lt; older memo</a>
src/templates/memo.html:<a id="newer" href="{{ url_for "/memo/" }}{{ .Newer.Id }}">newer memo &gt;</a>
src/templates/mypage.html:<form action="{{ url_for "/memo" }}" method="post">
src/templates/mypage.html:  <a href="{{ url_for "/memo/" }}{{ .Id }}">{{ first_line .Content }}</a> by {{ .Username }} ({{ .CreatedAt }})
src/templates/signin.html:<form action="{{ url_for "/signin" }}" method="post">

firsrt_line

src/templates/index.html:  <a href="{{ url_for "/memo/" }}{{ .Id }}">{{ first_line .Content }}</a> by {{ .Username }} ({{ .CreatedAt }})
src/templates/mypage.html:  <a href="{{ url_for "/memo/" }}{{ .Id }}">{{ first_line .Content }}</a> by {{ .Username }} ({{ .CreatedAt }})

get_token

src/templates/base_top.html:    <input type="hidden" name="sid" value="{{ get_token .Session }}">
src/templates/mypage.html:  <input type="hidden" name="sid" value="{{ get_token .Session }}">

gen_markdown

src/templates/memo.html:{{ gen_markdown .Memo.Content }}

pprof いれる

#1

はやくする

GoのSliceのallocationをあらかじめデカ目のサイズで取ってしまう

isucon-practice-20200718/app/src/app.go

Line 249 in fac5277

memos := make(Memos, 0)

isucon-practice-20200718/app/src/app.go

Line 309 in fac5277

memos := make(Memos, 0)

前にMaxの件数をcountしたり、LIMITで取得サイズを制限しているので、あらかじめそのサイズで確保しておけばallocationコストは抑えられるはず。

静的ファイルをnginxから配信する

isucon-practice-20200718/app/src/app.go

Line 145 in fac5277

r.PathPrefix("/").Handler(http.FileServer(http.Dir("./public/")))

ベンチでREADとかがネックになったら考える

Sortが複数のカラムで行われている

isucon-practice-20200718/app/src/app.go

Line 244 in fac5277

rows, err = dbConn.Query("SELECT * FROM memos WHERE is_private=0 ORDER BY created_at DESC, id DESC LIMIT ?", memosPerPage)

isucon-practice-20200718/app/src/app.go

Line 304 in fac5277

rows, err = dbConn.Query("SELECT * FROM memos WHERE is_private=0 ORDER BY created_at DESC, id DESC LIMIT ? OFFSET ?", memosPerPage, memosPerPage*page)

auto incrementのキーと他のキーで行われている。
順序的には同じなので、別に…？