07 — Observability as Runtime Contract

Vì sao telemetry/query history/structured logs là một phần core của managed runtime.

Câu hỏi

Databricks Runtime tự kể lại cho platform biết nó đang làm gì bằng cách nào?

Không chỉ là logging để debug. Với managed platform, observability là runtime contract: control plane/support/billing/audit/autoscaling cần biết runtime đang boot, command nào chạy, query nào sinh ra, lỗi ở phase nào, result đi đâu.

Breakdown

Startup phase event nào được emit?
Command execution phase event nào được emit?
REPL lifecycle/warmup/snapshot-restore event nào được emit?
Query history nằm ở package nào?
Command id/user id/query id có correlate được không?
Load/autoscaling signal lấy từ driver/chauffeur path nào?
Structured log khác Spark event log thế nào?

Evidence trong snapshot

/Users/chimeyrock/ChimeyRock/databricks/reverse/docs/06-4-phat-hien-quan-trong.md
/Users/chimeyrock/ChimeyRock/databricks/reverse/docs/14-driverdaemon.md
structured_log_parser
chauffeur/logs/*
spark/logs/*
SetupDriverEvent$EventType
ExecuteCommandEvent$EventType
ReplLifecycleEvent$EventType
spark.sqlgateway.history.*
qpl, insights, activity-logging, lumberjack

Câu trả lời tạm thời

Observability là core runtime surface. DBR instrument startup, command, REPL, query history, result/output và health rất dày để platform reconstruct được execution end-to-end. Đây là thứ open-source stack thường bị rời: Spark event log, app log, audit log, lineage log mỗi cái một nơi.

Còn thiếu / cần verify

Cần decode thêm structured logs và map event thật vào flow.
Cần xác định field correlation giữa user/command/query/result.