البيانات والتحليلات

مراقبة خطوط البيانات

مراقبة عمليات ETL وخطوط نقل البيانات والتنبيه عند حدوث أعطال أو تأخيرات.

Claude Code Copilot Cursor

نظرة عامة

مراقبة خطوط البيانات تمكّن وكيل البرمجة من إنشاء ومراقبة عمليات ETL (Extract, Transform, Load) وخطوط نقل البيانات. يستخدم أدوات مثل Apache Airflow لجدولة وتنسيق المهام المعقدة.

يستطيع الوكيل كتابة DAGs (Directed Acyclic Graphs) لتعريف خطوط البيانات، تكوين المهام والتبعيات بينها، ومراقبة حالة التنفيذ. عند فشل مهمة يمكنه تحليل السجلات واقتراح إصلاحات.

مثالية لفرق البيانات والهندسة التي تدير عمليات نقل وتحويل البيانات المعقدة وتحتاج مراقبة وتنبيهات موثوقة.

لمن هذه الأداة؟

مهندسي البيانات الذين يبنون خطوط ETL
فرق Data Engineering التي تدير Airflow DAGs
محللي البيانات الذين يراقبون عمليات نقل البيانات
فرق تريد أتمتة عمليات معالجة البيانات الدورية

التثبيت

إعداد Claude Code

pip install apache-airflow
airflow db init

الإعدادات

# dags/example_dag.py
from airflow import DAG
from airflow.operators.python import PythonOperator
from datetime import datetime

with DAG("my_pipeline", start_date=datetime(2024, 1, 1),
         schedule="@daily", catchup=False) as dag:
    extract = PythonOperator(
        task_id="extract",
        python_callable=extract_data,
    )
    transform = PythonOperator(
        task_id="transform",
        python_callable=transform_data,
    )
    extract >> transform

زيارة المصدر (Apache Airflow)

مهارات مشابهة

البيانات والتحليلات

تتبع الأخطاء مع Sentry

مراقبة الأخطاء في الإنتاج وتحليل أسبابها مع ربطها بالأكواد المسببة تلقائيًا.

Claude Code Copilot Cursor

البيانات والتحليلات

تحليلات المنتج مع PostHog

تتبع سلوك المستخدمين وتحليل مسارات التحويل لاتخاذ قرارات مبنية على البيانات.

Claude Code Cursor Copilot

البيانات والتحليلات

بناء استعلامات قواعد البيانات

توليد استعلامات SQL محسّنة وتحويل الأسئلة النصية إلى استعلامات قاعدة بيانات.

Claude Code Copilot Cursor