コードオブコンダクト (行動規範) を作成する。
最初に利用する予定は、dogrunのイベントだが、そのままGCPUGのコードオブコンダクト (行動規範) として、採用できると嬉しい。

WHAT

I want Firestore Emulator

WHY

I want an Emulator to use for UnitTest

import/exportする際に、前もって処理にかかる時間の目安を知りたい。

WHAT

import/exportする際に、前もって処理にかかる時間の目安を知りたい。
データのバイト数/件数 などによって大まかな目安があるならば教えてほしい。

WHY

前もって計測すればいい話ではあるが、実際に運用していくうえでデータの持ち方は当初の想定通りとはいかず、運用が始まってから本番と同等のデータを検証用に準備するのも大変。
可能であればどれくらいの時間がかかるのかを前もって知りたい。もしくは、データのバイト数/件数 などが支配的に影響して比例するのであれば、その目安を教えてほしい。

https://cloud.google.com/bigtable/docs/keyvis-overview

WHAT

Region of WRITE is US fixed if it is current multi-region, but I want you to choose this.

現状のMulti-regionだとWRITEのRegionがUS固定だが、これを選べるようにして欲しい。

WHY

I usually do WRITE in Tokyo Region and if disaster occurs in Tokyo Region, I would like to do disaster recovery such as WRITE in Taipei Region.

普段はTokyo RegionでWRITEしておいて、もしTokyo Regionで障害が発生した場合は、Taipei RegionでWRITEするといった、ディザスターリカバリーを行いたい。

onDisconnectはクライアントがオフラインになるとサーバー側の値を更新する機能です。

Realtime Databaseにしかない機能です。
Firestoreの方でも「両方合わせて使うんだぞ」みたいに書かれていますが、Security Ruleとかも統一したいのでFirestoreでも実装されませんか？
https://firebase.google.com/docs/firestore/solutions/presence?hl=en

WHAT

It is hard to manage all the security rules with one file.
Can you create something separate for each collection and do something like include?

すべてのセキュリティルールを1つのファイルで管理するのはつらい。
collectionごとに別のファイルに分けて作成して、includeのようなことができないだろうか？

WHY

ファイルを分割するためのimport/exportです
1ファイルに全部書かされるのが辛いんです

WHAT

I want to extend the period of Maximum timestamp staleness
https://cloud.google.com/spanner/docs/timestamp-bounds?hl=en#maximum_timestamp_staleness

WHY

I want to specify a longer time if it takes more than 1 h to acquire data consistently at Backup.

WHAT

Firestore Security RuleのAST Parserが欲しい

WHY

I want to create a tool to generate security rules from TypeScript and Go type information
I want to check generated security rules without deploying correctness

TypeScriptやGoの型情報から セキュリティルールを生成するツールが作りたい
生成される セキュリティルールが正しいかどうかをデプロイせずに確かめたい

https://docs.google.com/presentation/d/e/2PACX-1vSswu7S1LQO9dkA6vkLutYD2U8J-ch3lkPz_53W3rQGA38XHJRHF9ShVXk8Z1UvrXfWO99tOKUZZWl0/pub?start=true&loop=true&delayms=30000&slide=id.g3f4bdd67d5_0_0

How is progress made?
https://stackoverflow.com/questions/46573014/firestore-query-subcollections

UPDATE {Table}
SET Hoge = 1
WHERE Hoge = 2

If the subject Row exceeds 20000, can it be included in Transaction?

WHAT

I want Spanner Emulator

WHY

I want an Emulator to use for UnitTest

カラム追加時にnot null(+default value)を設定できるようにしてほしい

WHAT

テーブルへのカラム追加時にnot null(+default value)を設定できるようにしてほしい

WHY

アプリケーションの開発・運用ではカラムの追加が頻繁に起こるので、default値が設定できると大変ありがたい。
また一般的なRDBMSでは、即時反映ではないがnot null(+default value)のカラム追加が可能である。
RDBMSとNoSQLの両立を目指すCloud Spannerでは是非いつか対応してほしい。

【以下はこちらの想像】
Spannerのカラム追加とは、実データの操作をせずにカラムが存在しているというフラグを立てるのみで、アクセスしたときに評価を行ってkeyに紐づくそのカラムの値が無ければnullを返すようにしていると思う。（そしてupdateの際にカラムに値が指定されれば、そのとき初めて実際に値が入る）
そう考えると、keyに紐づくそのカラムの値が無ければdefault値を返すように出来るんじゃないかと勝手に想像している。
Cloud Spannerのinformation_schemaを取得するとCOLUMN_DEFAULTなる予約領域のようなものが既に存在しているので、少し期待している

As a user, I want to have a publisher in Spanner that would publish updated data in Spanner, like BINLOG in MySQL, to Pub/Sub. So that I can make a trigger for that.

WHAT

MySQLのBINLOGみたいなのをPubSubにぶっこむ機能が欲しい

WHY

変更をトリガーしたい

Ask

基本的にはCP。CAPになるように頑張ってる。地球を真っ二つにされたら、落ちちゃうw

To Read/Write Firestore Native Mode database with Apache beam.
As user, I want to do Read/Write Firestore Native Mode database with Apache beam.

WHAT

Firestore Native ModeのDatabaseをApache BeamでRead/WriteをするためにFirestoreIOがリリースされる？

WHY

Firestore Native ModeのDatabaseをApache BeamでRead/Writeを行いたい！

Ask

もともとは世界中にspanするspannerだったが、スパナー(工具の)で色々治せるやん？でそっちになった

WHAT

I want a Cursor when executing a query

WHY

Cursor makes implementation easier for Pagenation.

Firestore : Datastore Mode は既存のDatastoreとパフォーマンスは変わる？

WHAT

Everything became Strong Consistency in Firestore Datastore Mode, so is there going to be performance difference? In the Documentation states "Not yet fully optimized; may experience increased latency during beta", so when it comes to GA, performance will change?
As people who is using legacy Cloud Datastore users, is there something to consider in terms of performance difference?

すべてがStrong Consistencyになったことで、既存のDatastoreよりパフォーマンスが落ちたりするのだろうか？
ドキュメントには以下のように書いてあるけど、GAになるとパフォーマンスが変わったりする？

Not yet fully optimized; may experience increased latency during beta

WHY

既存のDatastoreを使っている人たちは、パフォーマンスのために何か考えることはあるのだろうか？

Datastore mode and Native mode has the same Cloud Firestore brand but they are exclusive currently.
It is not obvious the correspondence between the two modes.
Which layers are shared between the two modes?

• ACID & regional replicated storage layer(Some Googlers say it is Spanner)
• entity and index(like structure written in the Datastore articles How Entities and Indexes are Stored)
• Datastore API (Native mode overlays on Datastore mode)

質問: Datastore mode と Native mode の間では何が共有されているんでしょうか。
Datastore mode と Native mode は同一の Cloud Firestore のブランドを共有していますが、2つのモードは現在排他的です。
2つのモードの間の関係性はあまり明確ではありません。
どのレイヤー(まで)が2つのモードで共有されているのでしょうか。

オートインクリメントのようなkeyを使用してもホットスポットを回避できるオプションがほしい

WHAT

CloudSpannerではオートインクリメントのように単調増加または単調減少するような値をkeyに使用するとホットスポットが発生するが、それを回避するオプション、またはクライアントライブラリによる機能が欲しい

WHY

keyを発行・管理するサービスが外部にあるというユースケースが存在し、そういう場合はたいてい単調増加するkeyであり、Spannerでも同じkeyを（見た目上は）使えることが望ましい。

単調増加するkeyは[A．ビット列逆転する　B．暗号化処理する]などを行ったうえでSpannerに保存することでホットスポットの問題を避けることができるので、アプリケーションとしてそのように実装すればいい話ではあるが、できればサービス間で変換処理を行わず同じkeyを使用したい。

RANGEのSQLが使えなくても良いので、このような処理をやってくれて見た目の上では単調増加なkeyが使えるオプション、またはクライアントライブラリの機能が欲しい

As user, I want to limit CPU utilization by each DB so that I can use Cloud Spanner as multi-tenancy DB.
If I want to use spanner with small application, it is not cost efficient so I want to put multiple applications data in to one Cloud Spanner cluster. In order to do so, I want to limit CPU utilization for each application (=DB) to virtually isolate computational resources among each application.

WHAT

同じInstanceのDBのCPU利用率の最大値を設定したい

WHY

小さなApplicationを1つのInstanceに入れると、ランニングコストが高すぎるので、複数のApplicationを同じInstanceの別のDBに入れたい。
ただ、その場合、1つのApplicationがCPUを使い切ると、他のApplicationに影響が出るので、CPU利用率のMAXを設定したい。

WHAT

最初にFirestoreのリージョンを決めた後、変更したい

Ask

近い将来では厳しい。1つのリージョンで大丈夫だろうとは思っていた。現時点では、複数のProjectを作成して、Import/Exportするような形になると思っている。

Firestore, Datastore, AppEngineを別のRegionに配置したい

WHAT

Firestore, Datastore, AppEngineをProjectで1つ最初に選んだRegionしか使えないので、それぞれRegionを選択したい。

WHY

AppEngineはエンドユーザに近いTokyo Regionを利用する。
DatastoreはGKEが分析のために値段が安いUS Regionで利用したい。

In Cloud Spanner, recently added "batch read" feature so that it can also handle "big data" "general" processing. (such as analysis and more)
Traditionally for Cloud BigTable was stated as "Google Cloud Bigtable is Google's NoSQL Big Data database service". However, the current trend for GCP products is migrating from the Megastore backend to Spanner backend. Cloud Spanner gets parallel reads, batch read and other feature to able to process "Big Data". Where does Cloud BigTable will fit now and the future?

Cloud Spanner ではなく Cloud Bigtable を使用することを強くお勧めするユースケースは何ですか？

Cloud Spanner にも batch read が追加されるなどして「ビッグデータ」での利用にもある程度耐えるものになっていると考えられるが、明確に Cloud Spanner よりも Cloud Bigtable を使うべきなのはどういう場面なのか。

import/export する際に、Dataflowのワーカー数の指定をできるようにしてほしい

WHAT

Dataflowのワーカー数（minNumWorkers, maxNumWorkers）やマシンスペックを指定できるようにしたい。

WHY

おかねが掛かっても良いからとにかく速くバックアップ／リストアできるようなっていると安心

セカンダリインデックスはどのように設計するのがよいだろうか？

WHAT

• Does INSERT, DELETE slow if I set a lot of secondary indexes?

• Shared is indispensable for index to monotonically increasing value?

• セカンダリインデックスをたくさん設定すると、INSERT, DELETEが遅くなる？

• 単調増加する値へのインデックスはSharedが必須？

Set Shard and perform a full scan if you do a simple query

CREATE INDEX Order1MShardCreatedAtDesc
  ON Order1M (ShardCreatedAt, CreatedAt DESC)

SELECT * 
FROM Order1M@{FORCE_INDEX=Order1MShardCreatedAtDesc} 
WHERE ShardCreatedAt BETWEEN 0 AND 9
ORDER BY CreatedAt DESC 
LIMIT 10

It is quick if you acquire LIMIT by shard for each shard and rearrange

SELECT c.*
FROM (
  SELECT 
    ARRAY(
      SELECT AS STRUCT *
      FROM Order1M@{FORCE_INDEX=Order1MShardCreatedAtDesc}
      WHERE ShardCreatedAt = a.ShardCreatedAt
      ORDER BY CreatedAt DESC LIMIT 10
    ) AS ar
  FROM Order1M@{FORCE_INDEX=Order1MShardCreatedAtDesc} a
  WHERE ShardCreatedAt BETWEEN 0 AND 9
  GROUP BY ShardCreatedAt
) b, UNNEST(ar) c
ORDER BY c.CreatedAt DESC
LIMIT 10

WHY

Refs

https://cloudplatform.googleblog.com/2018/05/Sharding-of-timestamp-ordered-data-in-Cloud-Spanner.html

WHAT

同じProjectで、Firestore Native ModeとDatastore Modeを利用したい。

WHY

mBaaSとしてエンドユーザに提供する機能と、裏側で分析などに利用する機能がある場合、Firestore Native Mode, Datastore Mode 両方を使いたい。