Infra - Terraform > bigquery & variables

Bigquery 추가하기

terraform에서 bigquery를 생성하게 하려한다. docs에 bigquery dataset을 생성하는 코드를 찾아보았다.

https://registry.terraform.io/providers/hashicorp/google/latest/docs/resources/bigquery_dataset#argument-reference

Terraform Registry

여기서 필요한 코드들만 가져오려하는데 Arguments를 찾아보니 다음과 같았다.

 

Required는 dataset_id에만 있기 때문에 다음과 같이 코드 생성이 가능하다. (지역정보도 넣어주었다.)

resource "google_bigquery_dataset" "demo-dataset" {
  dataset_id = "데이터셋 이름"
  location = "asia-northeast3"
}

 

이제 terraform apply를 진행하면 아래와 같이 데이터 세트가 생성된 것을 확인 가능하다.

 

---

Variables

variables.tf 파일을 이용해서 변수명을 관리 가능하다. 변수의 기본적인 형태는 다음과 같다.

variable "Variable Name" {
  description = "Variable Description"
  default     = "value"
}

 

후에 main.tf의 각종 resource들을 정의할때 사용했던 variables를 모아서 정리해주고, 적용시켜주었다.

...
resource "google_bigquery_dataset" "demo-dataset" {
  dataset_id = var.bq_dataset_name
  location   = var.location
}

 

또한 지난 시간에 진행했던 GOOGLE_APPLICATION_CREDENTIALS도 variable로 관리가 가능하다!!

provider "google" {
  # gcloud auth application-default login
  # project = "<Your Project ID>" 
  credentials = var.credentials
  project     = var.project
  region      = var.region
}

 

다음과 같이 credentials 변수를 입력해주면 사용 가능하다.

 

---

전체 코드는 Github에 업로드 하였습니다.

https://github.com/poriz/data-engineering-zoomcamp-poriz/tree/main/01-docker-terraform/terraform_gcp