Grafana 系列-GaC-2-Grafana Terraform Provider 基础
Grafana 系列-GaC-2-Grafana Terraform Provider 基础
系列文章
•Grafana 系列文章[1]•Terraform 系列文章[2]
概述
前文[3]最后总结了我的工具选型：
•Grafana Terraform provider•Jsonnet
我们今天先简单介绍 Grafana Terraform provider[4].
Grafana Terraform Provider
Grafana provider 为 Grafana 提供配置管理资源。是目前 Grafana 官方提供的，覆盖的 Grafana 资源最全的 IaC 工具。
Grafana Terraform Provider 的代码是建立在 grafana-api-golang-client[5] 之上的。
通过 Grafana Terraform Provider, 我们可以管理：
•Alerting•Resources•grafana_contact_point•grafana_message_template•grafana_mute_timing•grafana_notification_policy•grafana_rule_group•Cloud•Resources•grafana_cloud_access_policy•grafana_cloud_access_policy_token•grafana_cloud_api_key•grafana_cloud_plugin_installation•grafana_cloud_stack•grafana_cloud_stack_api_key•grafana_cloud_stack_service_account•grafana_cloud_stack_service_account_token•grafana_machine_learning_holiday•grafana_machine_learning_job•grafana_machine_learning_outlier_detector•DataSources•grafana_cloud_ips•grafana_cloud_organization•grafana_cloud_stack•Grafana Enterprise•Resources•grafana_builtin_role_assignment•grafana_data_source_permission (AWS Managed Grafana 也有这个功能）•grafana_report•grafana_role•grafana_role_assignment•grafana_team_external_group•Grafana OSS•Resources•grafana_annotation•grafana_api_key•grafana_dashboard•grafana_dashboard_permission•grafana_data_source•grafana_folder•grafana_folder_permission•grafana_library_panel•grafana_organization•grafana_organization_preferences•grafana_playlist•grafana_service_account•grafana_service_account_permission•grafana_service_account_token•grafana_team•grafana_team_preferences•grafana_user•DataSources•grafana_dashboard•grafana_dashboards•grafana_data_source•grafana_folder•grafana_folders•grafana_library_panel•grafana_organization•grafana_organization_preferences•grafana_team•grafana_user•grafana_users•OnCall•略•SLO•略•Synthetic Monitoring•略
实战
因为 Grafana 资源相对比较清晰和独立，不像 AWS 会有很多复杂的关联关系。
所以关于 Grafana TF 代码的组织形式可以简单点：
•可以使 AllInOne 的 .tf 文件•也可以根据资源类型，简单拆分为如下即可：
├── dashboard.tf
├── datasource.tf
├── grafana-ds-info.auto.tfvars.json
├── jsonnet (jsonnet 文件夹，dashboard 相关内容都在该文件夹下）
├── main.tf
├── outputs.tf
├── variables.tf
└── versions.tf下面以第二种组织结构来详细介绍。
创建 Grafana Provider
在 main.tf 中，创建 Grafana Provider:
provider "grafana" {
}如果只有一套 Grafana, 那么如上的配置完全就够用了。
如果有多套 Grafana, 则可以通过指定 Grafana provider 的 alias 来实现。具体如下：
provider "grafana" {
alias = "aws-managed-grafana"
}后续使用资源的时候，可以通过指定 provider 来区分，实例如下：
# provision folder
resource "grafana_folder" "play-grafana" {
provider = grafana.aws-managed-grafana
uid = "play-grafana"
title = "play-grafana"
}📝Notes: 后续为了演示代码的简洁，不展示多 Grafana provider 的情况。 Resource 里也不会有
provider字段。
Grafana 通过 Terraform 使用，是至少需要提供 url 和 apikey 2 类信息的。这 2 类信息可以直接通过环境变量的形式提供，具体如下：
export GRAFANA_URL=https://<your-grafana-domain>/
export GRAFANA_AUTH=<your-grafana-apikey>GRAFANA_AUTH 的值可以是一个 Grafana API 密钥，basic auth 就是 用户名：密码，或可以点击这个链接申请 Grafana API 密钥[6]。
除此之外，Grafana Cloud/Synthetic Monitoring/Grafana Oncall 会有一些专用的 apikey 或 token, 这里就不详细介绍了。
创建 Grafana 组织
📝Notes: 因为我主要用的是 AWS Managed Grafana, 其只有一个默认的 org 1. 也没有开放相关的创建多个 org 的组织。所以我基本上不会用到该资源。
如果有用到该资源，可以创建一个 org.tf, 具体内容是：
// 创建组织
resource "grafana_organization" "my_org" {
name = "my_org"
}
// 在组织内创建资源
provider "grafana" {
alias = "my_org"
org_id = grafana_organization.my_org.org_id
}
resource "grafana_folder" "my_folder" {
provider = grafana.my_org
title = "Test Folder"
}创建 DataSource
该资源所需的参数根据所选择的数据源类型（通过 type 参数）而有所不同。
可以在 datasource.tf 下创建。
以下是创建：
•stackdriver•influxdb•cloudwatch•zabbix•ES•Prometheus•Jaeger
的简单示例。
Stackdriver
resource "grafana_data_source" "arbitrary-data" {
type = "stackdriver"
name = "sd-arbitrary-data"
json_data_encoded = jsonencode({
"tokenUri" = "https://oauth2.googleapis.com/token"
"authenticationType" = "jwt"
"defaultProject" = "default-project"
"clientEmail" = "client-email@default-project.iam.gserviceaccount.com"
})
secure_json_data_encoded = jsonencode({
"privateKey" = "-----BEGIN PRIVATE KEY-----\nprivate-key\n-----END PRIVATE KEY-----\n"
})
}Influxdb
resource "grafana_data_source" "influxdb" {
type = "influxdb"
name = "myapp-metrics"
url = "http://influxdb.example.net:8086/"
basic_auth_enabled = true
basic_auth_username = "username"
database_name = influxdb_database.metrics.name
json_data_encoded = jsonencode({
authType = "default"
basicAuthPassword = "mypassword"
})
}Cloudwatch
基于 AKSK 的创建：
resource "grafana_data_source" "cloudwatch" {
type = "cloudwatch"
name = "cw-example"
json_data_encoded = jsonencode({
defaultRegion = "us-east-1"
authType = "keys"
})
secure_json_data_encoded = jsonencode({
accessKey = "123"
secretKey = "456"
})
}这是基于 role (external) 的创建：
resource "grafana_data_source" "cloudwatch" {
type = "cloudwatch"
name = "example_cw"
json_data_encoded = jsonencode({
assumeRoleArn = "arn:aws:iam::<the-aws-id>:role/<...>"
authType = "ec2_iam_role"
defaultRegion = "us-east-1"
externalId = "<the-aws-id>"
})
}Zabbix
resource "grafana_data_source" "zabbix" {
type = "alexanderzobnin-zabbix-datasource"
name = "Zabbix-example"
url = "http://<zabbix-domain>/api_jsonrpc.php"
json_data_encoded = jsonencode({
trends = true
username = "Admin"
})
secure_json_data_encoded = jsonencode({
password = "Password"
})
}🐾 注意： Zabbix 的 type 是
alexanderzobnin-zabbix-datasource使用的前提是安装 Zabbix Grafana 插件[7].
Jaeger
resource "grafana_data_source" "jaeger-example" {
type = "jaeger"
name = "example_jaeger"
uid = "example_jaeger"
url = "http://<jaeger-domain>/trace/"
json_data_encoded = jsonencode({
"nodeGraph" : {
"enabled" : true
}
})
}
data "grafana_data_source" "jaeger-example" {
name = grafana_data_source.jaeger-example.name
uid = grafana_data_source.jaeger-example.uid
}📝上面的 data "grafana_data_source" "jaeger-example" 是将 Jaeger Datasource 的 uid 提供给 ES 使用。
当然，如果你直接在创建 Jaeger Datasource 的时候指定了 uid, 如下所示，那么后面在被其他 Datasource 引用时可以直接指定写死。
uid = "example_jaeger"ES
resource "grafana_data_source" "elasticsearch-example" {
type = "elasticsearch"
name = "es_example"
uid = "es_example"
url = "http://<es_host>:9200"
// 就是 es index
database_name = "[example.*-]YYYY.MM.DD"
json_data_encoded = jsonencode({
esVersion = "6.0.0"
interval = "Daily"
includeFrozen = false
maxConcurrentShardRequests = 256
timeField = "@timestamp"
logLevelField = "level"
logMessageField = "_source"
dataLinks = [
{
datasourceUid = data.grafana_data_source.jaeger-example.uid
// 或 datasourceUid = "example_jaeger"
field = "trace_id",
url = "${"$"}{__value.raw}"
}
]
})
}这里，有以下几个需要注意的地方：
•database_name = "[example.*-]YYYY.MM.DD" 在 type 为 es 的情况下，database_name 就是 es 的索引名称•dataLinks 这里通过 data link 链接到 Jagger Datasource: datasourceUid = data.grafana_data_source.jaeger-example.uid (Jaeger Datasource 就是上一节创建的）•url = "{__value.raw}, 但是这个恰好也是 Terraform 的模板/变量替换语法，所以如果直接这样写会将其解析为模板/变量，从而出现该变量不存在的报错。通过{""} 转义为
Prometheus
基础配置如下：
resource "grafana_data_source" "prometheus" {
type = "prometheus"
name = "example_prom"
uid = "example_prom"
url = "http://my-instances.com"
json_data_encoded = jsonencode({
httpMethod = "POST"
})
}官方提供的 Prometheus 兼容实现 - Mimir 的配置如下：
resource "grafana_data_source" "prometheus" {
type = "prometheus"
name = "mimir"
url = "https://my-instances.com"
basic_auth_enabled = true
basic_auth_username = "username"
json_data_encoded = jsonencode({
httpMethod = "POST"
prometheusType = "Mimir"
prometheusVersion = "2.4.0"
})
secure_json_data_encoded = jsonencode({
basicAuthPassword = "password"
})
}创建 Dashboard
在 dashboard.tf 中，创建 dashboard 示例如下：
resource "grafana_dashboard" "metrics" {
config_json = file("grafana-dashboard.json")
}也可以通过如下方式创建：
resource "grafana_dashboard" "metrics" {
config_json = jsonencode({
title = "as-code dashboard"
uid = "ascode"
})
}🐾注意：
config_json 是 String 类型，具体是完整的 Dashboard model JSON。
可以直接通过 file("grafana-dashboard.json") 获取。
如第二个实例，jsonencode 的作用就是使用 JSON 语法将一个 Object 转换为 String.
总结
好了，本次我们介绍了 Grafana Terraform Provider 的基础知识，还是比较简单的，我们使用其：
•创建 Provider•创建组织•创建文件夹•创建各类常见的 Datasources•创建 Dashboard
非常直白清晰。希望对各位有所帮助。
📚️参考文档
•Docs overview | grafana/grafana | Terraform Registry[8]•grafana_folder | Resources | grafana/grafana | Terraform Registry[9]•grafana_data_source | Resources | grafana/grafana | Terraform Registry[10]•grafana_dashboard | Resources | grafana/grafana | Terraform Registry[11]•jsonencode - Functions - Configuration Language | Terraform | HashiCorp Developer[12]•Strings and Templates - Configuration Language | Terraform | HashiCorp Developer[13]