Notice
Recent Posts
Recent Comments
Link
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | |||
| 5 | 6 | 7 | 8 | 9 | 10 | 11 |
| 12 | 13 | 14 | 15 | 16 | 17 | 18 |
| 19 | 20 | 21 | 22 | 23 | 24 | 25 |
| 26 | 27 | 28 | 29 | 30 |
Tags
- hive
- hadoop
- unquote
- webhdfs
- Keygen
- OutOfMemory
- python2
- executor
- supserset
- Linux
- kerberos
- kerberosClient
- PFX
- python3
- OpenSSL
- pyhive
- install
- OOM
- distcp
- setdefault
- CRT
- Spark
- ssh
- encoding
- Celery
- airflow
- Python
Archives
- Today
- Total
목록airflow (1)
복싱하는_개발자.dev
[Airflow] Airflow + Celery Executor 사용 설정
Airflow와 클러스터를 연동시켜 병렬로 task를 실행시키기 위해서는 celery executor 설정이 필요하다. 그리고 해당 celery executor 를 설정하기 위해서는 Postgresql 과 Rabbitmq의 설치가 되어있어야 한다. 1. Postgresql 설치 1. postgresql yum repository 생성 ## CentOS/RHEL - 7 rpm -Uvh https://yum.postgresql.org/10/redhat/rhel-7-x86_64/pgdg-centos10-10-2.noarch.rpm ## CentOS/RHEL - 6 sudo rpm -Uvh rpm -Uvh [https://yum.postgresql.org/10/redhat/rhel-6-x86_64/pgdg-re..
Airflow
2022. 3. 1. 12:52