DAGs. Katika Airflow, DAG - au a Directed Acyclic Graph - ni mkusanyiko wa majukumu yote unayotaka kutekeleza, yaliyopangwa kwa njia inayoakisi mahusiano na utegemezi wao.
Je, unatengenezaje DAG kwenye Airflow?
Ili kuunda DAG katika Mtiririko wa Hewa, daima ni lazima uingize darasa la DAG Baada ya darasa la DAG, njoo uagizaji wa Viendeshaji. Kimsingi, kwa kila Opereta unayotaka kutumia, lazima ulete uagizaji unaolingana. Kwa mfano, unataka kutekeleza kazi ya Python, lazima uingize PythonOperator.
Airflow inatafuta wapi DAG?
Mtiririko wa hewa huonekana katika DAGS_FOLDER kwa moduli zilizo na vipengee vya DAG katika nafasi yao ya majina ya kimataifa na kuongeza vipengee inavyopata kwenye DagBag.
Je, Airflow huhifadhi vipi DAG?
Apache Airflow Metadata Database:
Hifadhi hifadhidata ya metadata huhifadhi usanidi, kama vile vigeuzo na miunganisho Pia huhifadhi maelezo ya mtumiaji, majukumu na sera. Hatimaye, Mratibu huchanganua DAG zote na kuhifadhi metadata husika kama vile vipindi vya ratiba, takwimu kutoka kwa kila kukimbia na majukumu yao.
Je, Airflow ni zana ya ETL?
Mtiririko wa hewa si zana ya ETL kwa kila sekunde. Lakini inasimamia, kuunda, na kupanga mabomba ya ETL kwa kutumia kitu kinachoitwa Directed Acyclic Graphs (DAGs). … Hifadhidata ya metadata huhifadhi utendakazi/kazi (DAGs).