日期:2023-03-26 13:11:15 來源:騰訊云
一、PromQL 介紹
PromQL(Prometheus Query Language)為 Prometheus tsdb 的查詢語言。是結(jié)合 grafana 進行數(shù)據(jù)展示和告警規(guī)則的配置的關(guān)鍵部分。
(資料圖片僅供參考)
官方文檔:https://prometheus.io/docs/prometheus/latest/querying/basics/
Counter(只增不減的計數(shù)器) 類型的指標(biāo)其工作方式和計數(shù)器一樣,只增不減。常見的監(jiān)控指標(biāo),如 http_requests_total、 node_cpu_seconds_total都是 Counter類型的監(jiān)控指標(biāo)。
在 node-exporter 返回的樣本數(shù)據(jù)中,其注釋中也包含了該樣本的類型。例如:
# HELP node_cpu_seconds_total Seconds the cpus spent in each mode.# TYPE node_cpu_seconds_total counternode_cpu_seconds_total{cpu="cpu0",mode="idle"} 362812.7890625
#HELP
:解釋當(dāng)前指標(biāo)的含義,上面表示在每種模式下 node 節(jié)點的 cpu 花費的時間,以 s 為單位。#TYPE
:說明當(dāng)前指標(biāo)的數(shù)據(jù)類型,上面是 counter 類型。counter是一個簡單但又強大的工具,例如我們可以在應(yīng)用程序中記錄某些事件發(fā)生的次數(shù),通過以時間序列的形式存儲這些數(shù)據(jù),我們可以輕松的了解該事件產(chǎn)生的速率變化。PromQL內(nèi)置的聚合操作和函數(shù)可以讓用戶對這些數(shù)據(jù)進行進一步的分析,例如,通過 rate()函數(shù)獲取 HTTP 請求量的增長率:
rate(http_requests_total[5m])
查詢當(dāng)前系統(tǒng)中,訪問量前 10 的 HTTP 請求:
topk(10, http_requests_total)
與 Counter
不同, Gauge
(可增可減的儀表盤)類型的指標(biāo)側(cè)重于反應(yīng)系統(tǒng)的當(dāng)前狀態(tài)。因此這類指標(biāo)的樣本數(shù)據(jù)可增可減。常見指標(biāo)如:node_memory_MemFree_bytes
(主機當(dāng)前空閑的內(nèi)存大?。?node_memory_MemAvailable_bytes
(可用內(nèi)存大?。┒际?Gauge
類型的監(jiān)控指標(biāo)。通過 Gauge
指標(biāo),用戶可以直接查看系統(tǒng)的當(dāng)前狀態(tài):
node_memory_MemFree_bytes
對于 Gauge
類型的監(jiān)控指標(biāo),通過 PromQL
內(nèi)置函數(shù) delta()
可以獲取樣本在一段時間范圍內(nèi)的變化情況。例如,計算 CPU 溫度在兩個小時內(nèi)的差異:
delta(cpu_temp_celsius{host="zeus"}[2h])
還可以直接使用 predict_linear()
對數(shù)據(jù)的變化趨勢進行預(yù)測。例如,預(yù)測系統(tǒng)磁盤空間在 4 個小時之后的剩余情況:
predict_linear(node_filesystem_free_bytes[1h], 4 * 3600)
除了 Counter
和 Gauge
類型的監(jiān)控指標(biāo)以外,Prometheus 還定義了 Histogram
和 Summary
的指標(biāo)類型。Histogram
和 Summary
主用用于統(tǒng)計和分析樣本的分布情況。
Histogram
和 Summary
都是為了能夠解決這樣的問題存在的,通過 Histogram
和 Summary
類型的監(jiān)控指標(biāo),我們可以快速了解監(jiān)控樣本的分布情況。例如,指標(biāo) prometheus_tsdb_wal_fsync_duration_seconds
的指標(biāo)類型為 Summary。它記錄了 Prometheus Server 中 wal_fsync
的處理時間,通過訪問 Prometheus Server 的 /metrics
地址,可以獲取到以下監(jiān)控樣本數(shù)據(jù):
# HELP prometheus_tsdb_wal_fsync_duration_seconds Duration of WAL fsync.# TYPE prometheus_tsdb_wal_fsync_duration_seconds summaryprometheus_tsdb_wal_fsync_duration_seconds{quantile="0.5"} 0.012352463prometheus_tsdb_wal_fsync_duration_seconds{quantile="0.9"} 0.014458005prometheus_tsdb_wal_fsync_duration_seconds{quantile="0.99"} 0.017316173prometheus_tsdb_wal_fsync_duration_seconds_sum 2.888716127000002prometheus_tsdb_wal_fsync_duration_seconds_count 216
從上面的樣本中可以得知當(dāng)前 Prometheus Server 進行 wal_fsync
操作的總次數(shù)為 216 次,耗時 2.888716127000002s。其中中位數(shù)(quantile=0.5)的耗時為 0.012352463,9 分位數(shù)(quantile=0.9)的耗時為 0.014458005s。
在 Prometheus Server 自身返回的樣本數(shù)據(jù)中,我們還能找到類型為 Histogram 的監(jiān)控指標(biāo) prometheus_tsdb_compaction_chunk_range_seconds_bucket
:
# HELP prometheus_tsdb_compaction_chunk_range_seconds Final time range of chunks on their first compaction# TYPE prometheus_tsdb_compaction_chunk_range_seconds histogramprometheus_tsdb_compaction_chunk_range_seconds_bucket{le="100"} 71prometheus_tsdb_compaction_chunk_range_seconds_bucket{le="400"} 71prometheus_tsdb_compaction_chunk_range_seconds_bucket{le="1600"} 71prometheus_tsdb_compaction_chunk_range_seconds_bucket{le="6400"} 71prometheus_tsdb_compaction_chunk_range_seconds_bucket{le="25600"} 405prometheus_tsdb_compaction_chunk_range_seconds_bucket{le="102400"} 25690prometheus_tsdb_compaction_chunk_range_seconds_bucket{le="409600"} 71863prometheus_tsdb_compaction_chunk_range_seconds_bucket{le="1.6384e+06"} 115928prometheus_tsdb_compaction_chunk_range_seconds_bucket{le="6.5536e+06"} 2.5687892e+07prometheus_tsdb_compaction_chunk_range_seconds_bucket{le="2.62144e+07"} 2.5687896e+07prometheus_tsdb_compaction_chunk_range_seconds_bucket{le="+Inf"} 2.5687896e+07prometheus_tsdb_compaction_chunk_range_seconds_sum 4.7728699529576e+13prometheus_tsdb_compaction_chunk_range_seconds_count 2.5687896e+07
與 Summary
類型的指標(biāo)相似之處在于 Histogram
類型的樣本同樣會反應(yīng)當(dāng)前指標(biāo)的記錄的總數(shù)(以 _count
作為后綴)以及其值的總量(以 _sum
作為后綴)。不同在于 Histogram
指標(biāo)直接反應(yīng)了在不同區(qū)間內(nèi)樣本的個數(shù),區(qū)間通過標(biāo)簽 le 進行定義。
PromQL 查詢語句即表達式,實現(xiàn)的四種數(shù)據(jù)類型:
瞬時向量(Instant vector):一組時間序列,每個時間序列包含單個樣本,它們共享相同的時間戳。也就是說,表達式的返回值中只會包含該時間序列中最新的一個樣本值。區(qū)間向量(Range vector):一組時間序列,每個時間序列包含一段時間范圍內(nèi)的樣本數(shù)據(jù)。標(biāo)量(Scalar):一個浮點型的數(shù)據(jù)值,沒有時序。可以寫成[-](digits)[.(digits)]的形式。需要注意的是,使用表達式 count(http_requests_total)返回的數(shù)據(jù)類型依然是瞬時向量,用戶可以通過內(nèi)置函數(shù) scalar()將單個瞬時向量轉(zhuǎn)換為標(biāo)量。字符串(String):一個簡單的字符串值。字符串可以用單引號("")、雙引號("")或反引號(``)來指定。Instance vector(瞬時向量)表示一個時間序列的集合,但是每個時序只有最近的一個點,而不是線。
Range vector(范圍向量)表示一段時間范圍里的時序,每個時序可包含多個點 。
Scalar(標(biāo)量)通常為數(shù)值,可以將只有一個時序的 Instance vector 轉(zhuǎn)換成 Scalar。
一個簡單的字符串值。字符串可以用單引號("")、雙引號("")或反引號(``)來指定。
按照時間順序記錄系統(tǒng)、設(shè)備狀態(tài)變化的數(shù)據(jù),每個數(shù)據(jù)成為一個樣本。
數(shù)據(jù)采集以特定的時間周期進行,因而,隨著時間流逝,將這些樣本數(shù)據(jù)記錄下來,將生成一個離散的樣本數(shù)據(jù)序列。該序列也稱為向量(Vector),以時間軸為橫坐標(biāo)、序列為縱坐標(biāo),這些數(shù)據(jù)點連接起來就會形成一個矩陣。每條時間序列(Time Series)是通過指標(biāo)名稱(Metrics name)和一組標(biāo)簽集(Label set)來命名的。
如果 time 相同,但是指標(biāo)名稱或者標(biāo)簽集不同,那么時間序列也不同。
矩陣中每一個點都可稱為一個樣本(Sample),樣本主要由 3 方面構(gòu)成。
指標(biāo)(Metrics):包括指標(biāo)名稱(Metrics name)和一組標(biāo)簽集(Label set)名稱,如 request_total{path="/status",method="GET"}。時間戳(TimeStamp):這個值默認(rèn)精確到毫秒。樣本值(Value):這個值默認(rèn)使用 Float64 浮點類型。時間序列的指標(biāo)(Metrics)存儲格式為 key-value。
http_request_total{status="200",method="GET"}@1434417560938=>94355
為例,在 Key-Value 關(guān)系中,94355 作為 Value(也就是樣本值 Sample Value),前面的 http_request_total{status="200",method="GET"}@1434417560938
一律作為 Key。
Prometheus Metrics 兩種表現(xiàn)形式:
匹配器是作用于標(biāo)簽上的,標(biāo)簽匹配器可以對時間序列進行過濾,Prometheus 支持完全匹配和正則匹配兩種模式:完全匹配和正則表達式匹配。
相等匹配器(Equality Matcher),用于選擇與提供的字符串完全相同的標(biāo)簽。下面介紹的例子中就會使用相等匹配器按照條件進行一系列過濾。
node_cpu_seconds_total{instance="ydzs-master"}
不相等匹配器(Negative Equality Matcher),用于選擇與提供的字符串不相同的標(biāo)簽。它和相等匹配器是完全相反的。舉個例子,如果想要查看 job 并不是 HelloWorld 的 HTTP 請求總數(shù),可以使用如下不相等匹配器。
正則表達式匹配器(Regular Expression Matcher),用于選擇與提供的字符串進行正則運算后所得結(jié)果相匹配的標(biāo)簽。Prometheus 的正則運算是強指定的,比如正則表達式 a 只會匹配到字符串 a,而并不會匹配到 ab 或者 ba 或者 abc。如果你不想使用這樣的強指定功能,可以在正則表達式的前面或者后面加上“.*”。比如下面的例子表示 job 是所有以 Hello 開頭的 HTTP 請求總數(shù)。
node_cpu_seconds_total{instance=~"ydzs-.*", mode="idle"}
node_cpu_seconds_total
直接等效于{__name__="node_cpu_seconds_total"}
,后者也可以使用和前者一樣的 4 種匹配器(=,!=,=,!)
。比如下面的案例可以表示所有以 Hello 開頭的指標(biāo)。
{__name__="node_cpu_seconds_total",instance=~"ydzs-.*", mode="idle"}
正則表達式相反匹配器(Negative Regular Expression Matcher),用于選擇與提供的字符串進行正則運算后所得結(jié)果不匹配的標(biāo)簽。因為 PromQL 的正則表達式基于 RE2 的語法,但是 RE2 不支持向前不匹配表達式,所以!~
的出現(xiàn)是作為一種替代方案,以實現(xiàn)基于正則表達式排除指定標(biāo)簽值的功能。在一個選擇器當(dāng)中,可以針對同一個標(biāo)簽來使用多個匹配器。比如下面的例子,可以實現(xiàn)查找 job 名是 node 且安裝在/prometheus 目錄下,但是并不在/prometheus/user 目錄下的所有文件系統(tǒng)并確定其大小。
node_filesystem_size_bytes{job="node",mountpoint=~"/prometheus/.*", mountpoint!~ "/prometheus/user/.*"}
我們可以通過將時間范圍選擇器 range vector selectors 附加到查詢語句中,指定為每個返回的區(qū)間向量樣本值中提取多長的時間范圍。每個時間戳的值都是按時間倒序記錄在時間序列中的,該值是從時間范圍內(nèi)的時間戳獲取的對應(yīng)的值。
時間范圍通過數(shù)字來表示,單位可以使用以下其中之一的時間單位:
s - 秒m - 分鐘h - 小時d - 天w - 周y - 年比如 node_cpu_seconds_total{instance="ydzs-master",mode="idle"}
這個查詢語句,如果添加上 [1m]
這個時間范圍選擇器,則我們可以得到如下所示的信息:
node_cpu_seconds_total{instance="ydzs-master",mode="idle"}[5m]
這是因為現(xiàn)在每一個時間序列中都有多個時間戳多個值,所以沒辦法渲染,必須是標(biāo)量或者瞬時向量才可以繪制圖形。
不過通常區(qū)間向量都會應(yīng)用一個函數(shù)后變成可以繪制的瞬時向量,Prometheus 中對瞬時向量和區(qū)間向量有很多操作的 函數(shù),不過對于區(qū)間向量來說最常用的函數(shù)并不多,使用最頻繁的有如下幾個函數(shù):
rate()
: 計算整個時間范圍內(nèi)區(qū)間向量中時間序列的每秒平均增長率。irate()
: 僅使用時間范圍中的最后兩個數(shù)據(jù)點來計算區(qū)間向量中時間序列的每秒平均增長率, irate
只能用于繪制快速變化的序列,在長期趨勢分析或者告警中更推薦使用 rate
函數(shù)。increase()
: 計算所選時間范圍內(nèi)時間序列的增量,它基本上是速率乘以時間范圍選擇器中的秒數(shù)。數(shù)學(xué)運算符比較簡單,就是簡單的加減乘除等。
例如:我們通過 prometheus_http_response_size_bytes_sum
可以查詢到 Prometheus 這個應(yīng)用的 HTTP 響應(yīng)字節(jié)總和。但是這個單位是字節(jié),我們希望用 MB 顯示。那么我們可以這么設(shè)置:prometheus_http_response_size_bytes_sum/8/1024
。
PromQL 支持的所有數(shù)學(xué)運算符如下所示:
+ (加法)
- (減法)
* (乘法)
/ (除法)% (求余)^ (冪運算)布爾運算符支持用戶根據(jù)時間序列中樣本的值,對時間序列進行過濾。
例如:我們可以通過 prometheus_http_requests_total 查詢出每個接口的請求次數(shù),但是如果我們想篩選出請求次數(shù)超過 20 次的接口呢?
此時我們可以用下面的 PromQL 表達式:
prometheus_http_requests_total > 20
從上面的圖中我們可以看到,value 的值還是具體的數(shù)值。但如果我們希望對符合條件的數(shù)據(jù),value 變?yōu)?1。不符合條件的數(shù)據(jù),value 變?yōu)?0。那么我們可以使用bool 修飾符。
我們使用下面的 PromQL 表達式:
prometheus_http_requests_total > bool 20
目前,Prometheus 支持以下布爾運算符如下:
==
(相等)!=
(不相等)>
(大于)<
(小于)>=
(大于或等于)<=
(小于或等于)通過集合運算,可以在兩個瞬時向量與瞬時向量之間進行相應(yīng)的集合操作。目前,Prometheus 支持以下集合運算符:
and 與操作or 或操作unless 排除操作vector1 and vector2 進行一個與操作,會產(chǎn)生一個新的集合。該集合中的元素同時在 vector1 和 vector2 中都存在。
例如:我們有 vector1 為 A B C,vector2 為 B C D,那么 vector1 and vector2 的結(jié)果為:B C。
vector1 and vector2 進行一個或操作,會產(chǎn)生一個新的集合。該集合中包含 vector1 和 vector2 中的所有元素。
例如:我們有 vector1 為 A B C,vector2 為 B C D,那么 vector1 or vector2 的結(jié)果為:A B C D。
vector1 and vector2 進行一個或操作,會產(chǎn)生一個新的集合。該集合首先取 vector1 集合的所有元素,然后排除掉所有在 vector2 中存在的元素。
例如:我們有 vector1 為 A B C,vector2 為 B C D,那么 vector1 unless vector2 的結(jié)果為:A。
在 PromQL 操作符中優(yōu)先級由高到低依次為:
^
*, /, %
+, -
==, !=, <=, <, >=, >
and, unless
or
Prometheus 提供了其它大量的內(nèi)置函數(shù),可以對時序數(shù)據(jù)進行豐富的處理。某些函數(shù)有默認(rèn)的參數(shù),例如:year(v=vector(time()) instant-vector)
。其中參數(shù) v 是一個瞬時向量,如果不提供該參數(shù),將使用默認(rèn)值 vector(time())。instant-vector 表示參數(shù)類型。
abs(v instant-vector) 返回輸入向量的所有樣本的絕對值。
absent(v instant-vector)
,如果傳遞給它的向量參數(shù)具有樣本數(shù)據(jù),則返回空向量;如果傳遞的向量參數(shù)沒有樣本數(shù)據(jù),則返回不帶度量指標(biāo)名稱且?guī)в袠?biāo)簽的時間序列,且樣本值為 1。
當(dāng)監(jiān)控度量指標(biāo)時,如果獲取到的樣本數(shù)據(jù)是空的, 使用 absent 方法對告警是非常有用的。例如:
# 這里提供的向量有樣本數(shù)據(jù)absent(http_requests_total{method="get"}) => no dataabsent(sum(http_requests_total{method="get"})) => no data# 由于不存在度量指標(biāo) nonexistent,所以 返回不帶度量指標(biāo)名稱且?guī)в袠?biāo)簽的時間序列,且樣本值為1absent(nonexistent{job="myjob"}) => {job="myjob"} 1# 正則匹配的 instance 不作為返回 labels 中的一部分absent(nonexistent{job="myjob",instance=~".*"}) => {job="myjob"} 1# sum 函數(shù)返回的時間序列不帶有標(biāo)簽,且沒有樣本數(shù)據(jù)absent(sum(nonexistent{job="myjob"})) => {} 1
ceil(v instant-vector)
將 v 中所有元素的樣本值向上四舍五入到最接近的整數(shù)。例如:
node_load5{instance="192.168.1.75:9100"} # 結(jié)果為 2.79ceil(node_load5{instance="192.168.1.75:9100"}) # 結(jié)果為 3
changes(v range-vector)
輸入一個區(qū)間向量, 返回這個區(qū)間向量內(nèi)每個樣本數(shù)據(jù)值變化的次數(shù)(瞬時向量)。例如:
# 如果樣本數(shù)據(jù)值沒有發(fā)生變化,則返回結(jié)果為 1changes(node_load5{instance="192.168.1.75:9100"}[1m]) # 結(jié)果為 1
clamp_max(v instant-vector, max scalar)
函數(shù),輸入一個瞬時向量和最大值,樣本數(shù)據(jù)值若大于 max,則改為 max,否則不變。例如:
node_load5{instance="192.168.1.75:9100"} # 結(jié)果為 2.79clamp_max(node_load5{instance="192.168.1.75:9100"}, 2) # 結(jié)果為 2
clamp_min(v instant-vector, min scalar)
函數(shù),輸入一個瞬時向量和最小值,樣本數(shù)據(jù)值若小于 min,則改為 min,否則不變。例如:
node_load5{instance="192.168.1.75:9100"} # 結(jié)果為 2.79clamp_min(node_load5{instance="192.168.1.75:9100"}, 3) # 結(jié)果為 3
day_of_month(v=vector(time()) instant-vector)
函數(shù),返回被給定 UTC 時間所在月的第幾天。返回值范圍:1~31。
day_of_week(v=vector(time()) instant-vector)
函數(shù),返回被給定 UTC 時間所在周的第幾天。返回值范圍:0~6,0 表示星期天。
days_in_month(v=vector(time()) instant-vector)
函數(shù),返回當(dāng)月一共有多少天。返回值范圍:28~31。
delta(v range-vector)
的參數(shù)是一個區(qū)間向量,返回一個瞬時向量。它計算一個區(qū)間向量 v 的第一個元素和最后一個元素之間的差值。由于這個值被外推到指定的整個時間范圍,所以即使樣本值都是整數(shù),你仍然可能會得到一個非整數(shù)值。
例如,下面的例子返回過去兩小時的 CPU 溫度差:
delta(cpu_temp_celsius{host="zeus"}[2h])
deriv(v range-vector)
的參數(shù)是一個區(qū)間向量,返回一個瞬時向量。它使用簡單的線性回歸計算區(qū)間向量 v 中各個時間序列的導(dǎo)數(shù)。這個函數(shù)一般只用在 Gauge 類型的時間序列上。
exp(v instant-vector)
函數(shù),輸入一個瞬時向量,返回各個樣本值的 e 的指數(shù)值,即 e 的 N 次方。當(dāng) N 的值足夠大時會返回 +Inf。特殊情況為:
Exp(+Inf) = +InfExp(NaN) = NaN
floor(v instant-vector)
函數(shù)與 ceil() 函數(shù)相反,將 v 中所有元素的樣本值向下四舍五入到最接近的整數(shù)。
histogram_quantile(φ float, b instant-vector)
從 bucket 類型的向量 b 中計算 φ (0 ≤ φ ≤ 1) 分位數(shù)(百分位數(shù)的一般形式)的樣本的最大值。(有關(guān) φ 分位數(shù)的詳細(xì)說明以及直方圖指標(biāo)類型的使用,請參閱直方圖和摘要)。向量 b 中的樣本是每個 bucket 的采樣點數(shù)量。每個樣本的 labels 中必須要有 le 這個 label 來表示每個 bucket 的上邊界,沒有 le 標(biāo)簽的樣本會被忽略。直方圖指標(biāo)類型自動提供帶有 _bucket 后綴和相應(yīng)標(biāo)簽的時間序列。可以使用 rate() 函數(shù)來指定分位數(shù)計算的時間窗口。
例如:一個直方圖指標(biāo)名稱為 employee_age_bucket_bucket,要計算過去 10 分鐘內(nèi) 第 90 個百分位數(shù),請使用以下表達式:
histogram_quantile(0.9, rate(employee_age_bucket_bucket[10m]))
返回:
{instance="10.0.86.71:8080",job="prometheus"} 35.714285714285715
這表示最近 10 分鐘之內(nèi) 90% 的樣本的最大值為 35.714285714285715。
holt_winters(v range-vector, sf scalar, tf scalar)
函數(shù)基于區(qū)間向量 v,生成時間序列數(shù)據(jù)平滑值。平滑因子 sf 越低, 對舊數(shù)據(jù)的重視程度越高。趨勢因子 tf 越高,對數(shù)據(jù)的趨勢的考慮就越多。其中,0< sf, tf <=1。holt_winters 僅適用于 Gauge
類型的時間序列。
hour(v=vector(time()) instant-vector)
函數(shù)返回被給定 UTC 時間的當(dāng)前第幾個小時,時間范圍:0~23。
idelta(v range-vector)
的參數(shù)是一個區(qū)間向量, 返回一個瞬時向量。它計算最新的 2 個樣本值之間的差值。這個函數(shù)一般只用在 Gauge 類型的時間序列上。
increase(v range-vector)
函數(shù)獲取區(qū)間向量中的第一個和最后一個樣本并返回其增長量, 它會在單調(diào)性發(fā)生變化時(如由于采樣目標(biāo)重啟引起的計數(shù)器復(fù)位)自動中斷。由于這個值被外推到指定的整個時間范圍,所以即使樣本值都是整數(shù),你仍然可能會得到一個非整數(shù)值。
例如:以下表達式返回區(qū)間向量中每個時間序列過去 5 分鐘內(nèi) HTTP 請求數(shù)的增長數(shù):
increase(http_requests_total{job="apiserver"}[5m])
increase 的返回值類型只能是計數(shù)器類型,主要作用是增加圖表和數(shù)據(jù)的可讀性。使用 rate 函數(shù)記錄規(guī)則的使用率,以便持續(xù)跟蹤數(shù)據(jù)樣本值的變化。
irate(v range-vector)
函數(shù)用于計算區(qū)間向量的增長率,但是其反應(yīng)出的是瞬時增長率。irate 函數(shù)是通過區(qū)間向量中最后兩個兩本數(shù)據(jù)來計算區(qū)間向量的增長速率,它會在單調(diào)性發(fā)生變化時(如由于采樣目標(biāo)重啟引起的計數(shù)器復(fù)位)自動中斷。這種方式可以避免在時間窗口范圍內(nèi)的“長尾問題”,并且體現(xiàn)出更好的靈敏度,通過 irate 函數(shù)繪制的圖標(biāo)能夠更好的反應(yīng)樣本數(shù)據(jù)的瞬時變化狀態(tài)。
例如:以下表達式返回區(qū)間向量中每個時間序列過去 5 分鐘內(nèi)最后兩個樣本數(shù)據(jù)的 HTTP 請求數(shù)的增長率:
irate(http_requests_total{job="api-server"}[5m])
label_join(v instant-vector, dst_label string, separator string, src_label_1 string, src_label_2 string, ...)
函數(shù)可以將時間序列 v 中多個標(biāo)簽 src_label 的值,通過 separator 作為連接符寫入到一個新的標(biāo)簽 dst_label 中??梢杂卸鄠€ src_label 標(biāo)簽。
例如:以下表達式返回的時間序列多了一個 foo 標(biāo)簽,標(biāo)簽值為 etcd,etcd-k8s:
up{endpoint="api",instance="192.168.123.248:2379",job="etcd",namespace="monitoring",service="etcd-k8s"}=> up{endpoint="api",instance="192.168.123.248:2379",job="etcd",namespace="monitoring",service="etcd-k8s"} 1label_join(up{endpoint="api",instance="192.168.123.248:2379",job="etcd",namespace="monitoring",service="etcd-k8s"}, "foo", ",", "job", "service")=> up{endpoint="api",foo="etcd,etcd-k8s",instance="192.168.123.248:2379",job="etcd",namespace="monitoring",service="etcd-k8s"} 1
為了能夠讓客戶端的圖標(biāo)更具有可讀性,可以通過 label_replace 函數(shù)為時間序列添加額外的標(biāo)簽。label_replace 的具體參數(shù)如下:
label_replace(v instant-vector, dst_label string, replacement string, src_label string, regex string)
該函數(shù)會依次對 v 中的每一條時間序列進行處理,通過 regex 匹配 src_label 的值,并將匹配部分 relacement 寫入到 dst_label 標(biāo)簽中。如下所示:
label_replace(up, "host", "$1", "instance", "(.*):.*")
函數(shù)處理后,時間序列將包含一個 host 標(biāo)簽,host 標(biāo)簽的值為 Exporter 實例的 IP 地址:
up{host="localhost",instance="localhost:8080",job="cadvisor"} 1up{host="localhost",instance="localhost:9090",job="prometheus"} 1up{host="localhost",instance="localhost:9100",job="node"} 1
ln(v instant-vector) 計算瞬時向量 v 中所有樣本數(shù)據(jù)的自然對數(shù)。特殊情況:
ln(+Inf) = +Infln(0) = -Infln(x < 0) = NaNln(NaN) = NaNlog2(v instant-vector)
函數(shù)計算瞬時向量 v 中所有樣本數(shù)據(jù)的二進制對數(shù)。特殊情況同上。
log10(v instant-vector)
計算瞬時向量 v 中所有樣本數(shù)據(jù)的十進制對數(shù)。特殊情況同上。
minute(v=vector(time()) instant-vector)
函數(shù)返回給定 UTC 時間當(dāng)前小時的第多少分鐘。結(jié)果范圍:0~59。
month(v=vector(time()) instant-vector)
函數(shù)返回給定 UTC 時間當(dāng)前屬于第幾個月,結(jié)果范圍:0~12。
predict_linear(v range-vector, t scalar)
函數(shù)可以預(yù)測時間序列 v 在 t 秒后的值。它基于簡單線性回歸的方式,對時間窗口內(nèi)的樣本數(shù)據(jù)進行統(tǒng)計,從而可以對時間序列的變化趨勢做出預(yù)測。該函數(shù)的返回結(jié)果不帶有度量指標(biāo),只有標(biāo)簽列表。
例如,基于 2 小時的樣本數(shù)據(jù),來預(yù)測主機可用磁盤空間的是否在 4 個小時候被占滿,可以使用如下表達式:
predict_linear(node_filesystem_free{job="node"}[2h], 4 * 3600) < 0
rate(v range-vector)
函數(shù)可以直接計算區(qū)間向量 v 在時間窗口內(nèi)平均增長速率,它會在單調(diào)性發(fā)生變化時(如由于采樣目標(biāo)重啟引起的計數(shù)器復(fù)位)自動中斷。該函數(shù)的返回結(jié)果不帶有度量指標(biāo),只有標(biāo)簽列表。
例如,以下表達式返回區(qū)間向量中每個時間序列過去 5 分鐘內(nèi) HTTP 請求數(shù)的每秒增長率:
rate(http_requests_total[5m])結(jié)果:{code="200",handler="label_values",instance="120.77.65.193:9090",job="prometheus",method="get"} 0{code="200",handler="query_range",instance="120.77.65.193:9090",job="prometheus",method="get"} 0{code="200",handler="prometheus",instance="120.77.65.193:9090",job="prometheus",method="get"} 0.2...
rate() 函數(shù)返回值類型只能用計數(shù)器,在長期趨勢分析或者告警中推薦使用這個函數(shù)。
注意:
當(dāng)將 rate() 函數(shù)與聚合運算符(例如 sum())或隨時間聚合的函數(shù)(任何以 _over_time 結(jié)尾的函數(shù))一起使用時,必須先執(zhí)行 rate 函數(shù),然后再進行聚合操作,否則當(dāng)采樣目標(biāo)重新啟動時 rate() 無法檢測到計數(shù)器是否被重置。
resets(v range-vector)
的參數(shù)是一個區(qū)間向量。對于每個時間序列,它都返回一個計數(shù)器重置的次數(shù)。兩個連續(xù)樣本之間的值的減少被認(rèn)為是一次計數(shù)器重置。
這個函數(shù)一般只用在計數(shù)器類型的時間序列上。
round(v instant-vector, to_nearest=1 scalar)
函數(shù)與 ceil 和 floor 函數(shù)類似,返回向量中所有樣本值的最接近的整數(shù)。to_nearest 參數(shù)是可選的,默認(rèn)為 1,表示樣本返回的是最接近 1 的整數(shù)倍的值。你也可以將該參數(shù)指定為任意值(也可以是小數(shù)),表示樣本返回的是最接近它的整數(shù)倍的值。
scalar(v instant-vector)
函數(shù)的參數(shù)是一個單元素的瞬時向量,它返回其唯一的時間序列的值作為一個標(biāo)量。如果度量指標(biāo)的樣本數(shù)量大于 1 或者等于 0, 則返回 NaN。
sort(v instant-vector)
函數(shù)對向量按元素的值進行升序排序,返回結(jié)果:key: value = 度量指標(biāo):樣本值[升序排列]。
sort(v instant-vector)
函數(shù)對向量按元素的值進行降序排序,返回結(jié)果:key: value = 度量指標(biāo):樣本值[降序排列]。
sqrt(v instant-vector)
函數(shù)計算向量 v 中所有元素的平方根。
time()
函數(shù)返回從 1970-01-01 到現(xiàn)在的秒數(shù)。注意:它不是直接返回當(dāng)前時間,而是時間戳
timestamp(v instant-vector)
函數(shù)返回向量 v 中的每個樣本的時間戳(從 1970-01-01 到現(xiàn)在的秒數(shù))。
該函數(shù)從 Prometheus 2.0 版本開始引入。
vector(s scalar)
函數(shù)將標(biāo)量 s 作為沒有標(biāo)簽的向量返回,即返回結(jié)果為:key: value= {}, s。
year(v=vector(time()) instant-vector)
函數(shù)返回被給定 UTC 時間的當(dāng)前年份。
下面的函數(shù)列表允許傳入一個區(qū)間向量,它們會聚合每個時間序列的范圍,并返回一個瞬時向量:
avg_over_time(range-vector) : 區(qū)間向量內(nèi)每個度量指標(biāo)的平均值。min_over_time(range-vector) : 區(qū)間向量內(nèi)每個度量指標(biāo)的最小值。max_over_time(range-vector) : 區(qū)間向量內(nèi)每個度量指標(biāo)的最大值。sum_over_time(range-vector) : 區(qū)間向量內(nèi)每個度量指標(biāo)的求和。count_over_time(range-vector) : 區(qū)間向量內(nèi)每個度量指標(biāo)的樣本數(shù)據(jù)個數(shù)。quantile_over_time(scalar, range-vector) : 區(qū)間向量內(nèi)每個度量指標(biāo)的樣本數(shù)據(jù)值分位數(shù),φ-quantile (0 ≤ φ ≤ 1)。stddev_over_time(range-vector) : 區(qū)間向量內(nèi)每個度量指標(biāo)的總體標(biāo)準(zhǔn)差。stdvar_over_time(range-vector) : 區(qū)間向量內(nèi)每個度量指標(biāo)的總體標(biāo)準(zhǔn)方差。12345678
注意:
即使區(qū)間向量內(nèi)的值分布不均勻,它們在聚合時的權(quán)重也是相同的。
Prometheus 還提供了聚合操作符,這些操作符作用于瞬時向量??梢詫⑺矔r表達式返回的樣本數(shù)據(jù)進行聚合,形成一個新的時間序列。目前支持的聚合函數(shù)有:
sum (求和)min (最小值)max (最大值)avg (平均值)stddev (標(biāo)準(zhǔn)差)stdvar (標(biāo)準(zhǔn)方差)count (計數(shù))count_values (對 value 進行計數(shù))bottomk (后 n 條時序)topk (前 n 條時序)用于對記錄的 value 值進行求和。
例如:sum(prometheus_http_requests_total)
表示統(tǒng)計所有 HTTP 請求的次數(shù)。
sum(prometheus_http_requests_total)
返回所有記錄的最小值。
例如:min(prometheus_http_requests_total)
表示獲取數(shù)據(jù)集合中的最小值。
min(prometheus_http_requests_total)
返回所有記錄的最大值。
例如:maxmetheus_http_requests_total)` 表示獲取數(shù)據(jù)集合中的最大值。
max(prometheus_http_requests_total)
avg 函數(shù)返回所有記錄的平均值。
例如:avg(metheus_http_requests_total)
表示獲取數(shù)據(jù)集合中的平均值。
avg(prometheus_http_requests_total)
標(biāo)準(zhǔn)差(Standard Deviation)常用來描述數(shù)據(jù)的波動大小。
例如:統(tǒng)計出不同 HTTP 請求的數(shù)量波動情況。
stddev(prometheus_http_requests_total)
count 函數(shù)返回所有記錄的計數(shù)。
例如:count(prometheus_http_requests_total)
表示統(tǒng)計所有 HTTP 請求的次數(shù)。
count(prometheus_http_requests_total)
bottomk 用于對樣本值進行排序,返回當(dāng)前樣本值后 N 位的時間序列。
例如:獲取 HTTP 請求量后 5 位的請求,可以使用表達式:
bottomk(5, prometheus_http_requests_total)
topk 用于對樣本值進行排序,返回當(dāng)前樣本值前 N 位的時間序列。
例如:獲取 HTTP 請求量前 5 位的請求,可以使用表達式:
topk(5, prometheus_http_requests_total)
由于所有的 PromQL 表達式必須至少包含一個指標(biāo)名稱,或者至少有一個不會匹配到空字符串的標(biāo)簽過濾器,因此結(jié)合 Prometheus 官方文檔,可以梳理出如下非法示例。
{job=~".*"} # 非法!.*表示任意一個字符,這就包括空字符串,且還沒有指標(biāo)名稱{job=""} # 非法!{job!=""} # 非法!
相反,如下表達式是合法的。
{job=~".+"} # 合法!.+表示至少一個字符{job=~".*",method="get"} # 合法!.*表示任意一個字符{job="",method="post"} # 合法!存在一個非空匹配{job=~".+",method="post"} # 合法!存在一個非空匹配
關(guān)于 Prometheus PromQL 講解就先到這里了,其實官網(wǎng)介紹的很清楚,也不難,多使用就很容易掌握了,有疑問的小伙伴歡迎給我留言,后續(xù)會持續(xù)更新【云原生+大數(shù)據(jù)】的文章,請小伙伴耐心等待~
標(biāo)簽:
愛滋病的早期癥狀是什么感覺_愛滋病的早期癥狀是什么
河南安陽:中國文字博物館開展“國際博物館日”主題活動
熱文:金建高鐵、甬舟鐵路、杭紹甬高速……“浙”些工程有新進展
深圳試行無人機送外賣 無人機行業(yè)市場深度分析 天天日報
天天熱消息:安徽財經(jīng)大學(xué)2023年自考畢業(yè)論文怎么報名,報名流程是怎樣的?
世界簡訊:湖南航空首航七周年,目前全年運營航線63條,通航41個城市
當(dāng)前要聞:湖人利好!哈姆放話2米35長臂男當(dāng)奇兵,球迷:約基奇轟45+15+12
國際物流業(yè)務(wù)員怎么找客戶_國際物流業(yè)務(wù)員怎樣找到自己的客戶|時訊
全球觀速訊丨高瀾股份:5月19日接受機構(gòu)調(diào)研,民生證券、東方阿爾法等多家機構(gòu)參與
舉信賴 敬真情 賴茅與世界羽聯(lián)再續(xù)合作情緣
焦點要聞:美聯(lián)儲6月加息概率降至15.7%
環(huán)球動態(tài):1499元!暢享60 Pro即將發(fā)售
慶元旦演講稿3分鐘-慶元旦演講稿|每日精選
焦點信息:360路由器衛(wèi)士手機版安全下載_360路由衛(wèi)士
WE官博致謝前隊員:謝謝你們把WE帶到MSI決賽舞臺
六五環(huán)境日|濱州以督促改、以改促效,助力企業(yè)家成就夢想 環(huán)球?qū)崟r
環(huán)球報道:項目實戰(zhàn)-重塑企業(yè)求職新場景
“賣點”變“槽點”,長沙湘水郡中央空調(diào)成擺設(shè),業(yè)主吐槽:堪比“蒸桑拿”
環(huán)球關(guān)注:被辭退的艦長:希兒,敵人的陰謀(下)
每日信息:澤連斯基暗示烏克蘭東部城鎮(zhèn)巴赫穆特失守
057期李員外雙色球預(yù)測獎號:小復(fù)式9+3推薦 觀察
當(dāng)前短訊!銀翹解毒顆粒作用機制_銀翹解毒顆粒的作用
全球即時看!奇跡神戰(zhàn)什么職業(yè)厲害_奇跡戰(zhàn)神神賜等級列表
【環(huán)球快播報】1:0小勝主場大連人 河南隊艱難拿到聯(lián)賽首勝
當(dāng)前動態(tài):蟲洞空間平臺_蟲洞空間