> ## Documentation Index
> Fetch the complete documentation index at: https://wb-21fd5541-docs-2989.mintlify.site/llms.txt
> Use this file to discover all available pages before exploring further.

# Automation 이벤트 및 범위

> artifact 변경, run 상태, 메트릭 조건 등 W&B Automations를 트리거하는 이벤트와 범위를 알아보세요.

자동화는 조직, 팀, 프로젝트, 레지스트리 또는 컬렉션 내에서 특정 이벤트가 발생하면 시작될 수 있습니다. 이 페이지에서는 각 범위에서 자동화를 트리거할 수 있는 이벤트를 설명하므로, 자동화를 구성할 때 적절한 트리거를 선택할 수 있습니다. 자동화에 대한 자세한 내용은 [Automations overview](/ko/models/automations) 또는 [자동화 만들기](/ko/models/automations/create-automations)에서 확인하세요.

범위는 계층 구조로 되어 있습니다. 조직에는 팀이 포함되고, 팀에는 프로젝트와 레지스트리가 포함됩니다. 프로젝트와 레지스트리에는 모두 컬렉션이 포함됩니다. 프로젝트에는 해당 프로젝트에 로깅된 아티팩트 컬렉션이 포함되고, 레지스트리에는 아티팩트 버전이 연결된 컬렉션이 포함됩니다. 자동화는 나중에 생성되는 프로젝트, 레지스트리 및 컬렉션을 포함해 해당 범위 내의 모든 항목에서 이벤트를 관찰합니다. 하나의 이벤트가 둘 이상의 범위에서 자동화와 일치할 수 있습니다. 일치하는 각 자동화는 독립적으로 트리거됩니다.

광범위한 범위에서 과도한 트리거를 방지하기 위해 W\&B는 자동화별로 요청 속도 제한과 쿨다운을 적용합니다. 이러한 보호 장치로 인해 동일한 자동화의 반복 트리거가 지연되거나 건너뛰어질 수 있습니다.

<Note>
  팀 및 조직 범위는 W\&B Multi-tenant Cloud와 W\&B Dedicated Cloud(Server v0.83.0 이상)에서 사용할 수 있습니다. 레지스트리 및 프로젝트 범위는 모든 배포 유형에서 사용할 수 있습니다.
</Note>

<div id="scope-reference">
  ## 범위 레퍼런스
</div>

| 범위                  | 자동화에서 모니터링하는 항목                               | W\&B App에서 사용할 수 있는 이벤트                                               |
| ------------------- | --------------------------------------------- | --------------------------------------------------------------------- |
| [조직](#organization) | 향후 생성되는 항목을 포함한 조직 내 모든 팀, 프로젝트, 레지스트리 및 컬렉션  | 새 버전 추가 또는 연결, 별칭 또는 태그 추가 등의 아티팩트 및 컬렉션 이벤트. run 기반 이벤트는 사용할 수 없습니다. |
| [팀](#team)          | 향후 생성되는 항목을 포함한 팀 소유의 모든 프로젝트, 레지스트리 및 컬렉션    | 조직 범위와 동일한 아티팩트 및 컬렉션 이벤트. run 기반 이벤트는 사용할 수 없습니다.                    |
| [레지스트리](#registry)  | 향후 추가되는 컬렉션을 포함한 하나의 레지스트리 내 모든 컬렉션           | [레지스트리 이벤트](#registry-events): 새 버전이 컬렉션에 연결되거나 아티팩트 별칭이 추가되는 경우      |
| [프로젝트](#project)    | 하나의 프로젝트 내 모든 컬렉션. 일부 이벤트에서는 범위를 더 좁힐 수 있습니다. | [아티팩트 이벤트](#artifact-events) 및 [run 이벤트](#run-events)                 |

다음 섹션에서 각 범위를 자세히 설명합니다.

<div id="organization">
  ## 조직
</div>

조직 범위를 사용하면 정책을 한 번 정의하여 모든 곳에 적용할 수 있습니다. 예를 들어, 조직 내 아티팩트에 `production` 별칭이 추가될 때마다 규정 준수 Slack 채널로 알림을 받을 수 있습니다.

W\&B App에서는 run 기반 이벤트([run 상태 변경](#run-status-change) 및 [run 메트릭](#run-metrics-change) 이벤트)를 조직 범위에서 사용할 수 없습니다.

<div id="team">
  ## 팀
</div>

팀 범위를 사용하면 하나의 팀이 소유한 모든 항목에 정책을 적용할 수 있습니다. 팀 범위 자동화는 조직 범위와 동일한 아티팩트 및 컬렉션 이벤트를 감시합니다. W\&B App에서는 팀 범위에서 run 기반 이벤트를 사용할 수 없습니다.

<div id="registry">
  ## 레지스트리
</div>

[레지스트리](/ko/models/registry) 자동화는 향후 추가되는 컬렉션을 포함해, 특정 레지스트리 내의 모든 컬렉션에서 발생하는 이벤트를 감시합니다.

### 이벤트 <a id="registry-events" aria-label="레지스트리 이벤트" />

레지스트리 자동화는 다음 이벤트를 모니터링할 수 있습니다:

* **새 버전이 컬렉션에 연결됨**: 새 Models 또는 Datasets가 레지스트리에 추가될 때 테스트하고 검증합니다.
* **아티팩트 별칭이 추가됨**: 새 아티팩트 버전에 특정 별칭이 적용되면 워크플로의 특정 step을 트리거합니다. 예를 들어, `production` 별칭이 적용되면 모델을 배포합니다.

자동화가 웹훅을 Call할 때는 프로젝트 범위 자동화와 동일한 팀 수준 웹훅 설정과 [team secrets](/ko/platform/secrets)에 액세스할 수 있습니다.

<div id="project">
  ## 프로젝트
</div>

프로젝트 수준 자동화는 [프로젝트](/ko/models/track/project-page) 내 모든 컬렉션에서 발생하는 이벤트를 모니터링합니다. 지정한 이벤트에 따라 자동화 범위를 더 좁힐 수 있습니다.

<div id="artifact-events">
  ### Artifact 이벤트
</div>

이 섹션에서는 자동화를 트리거할 수 있는 아티팩트 관련 이벤트를 설명합니다.

* **아티팩트에 새 버전이 추가됨**: 아티팩트의 각 버전에 반복 작업을 적용합니다. 예를 들어, 새 데이터셋 아티팩트 버전이 생성되면 트레이닝 작업을 시작합니다.
* **아티팩트 별칭이 추가됨**: 프로젝트의 새 아티팩트 버전에, 지정한 **Alias regex**와 일치하는 별칭이 적용되면 워크플로의 특정 step을 트리거합니다. 예를 들어, 아티팩트에 `test-set-quality-check` 별칭이 적용되면 일련의 다운스트림 처리 step을 실행하거나, 새 아티팩트 버전에 `latest` 별칭이 적용될 때마다 워크플로를 실행할 수 있습니다. 하나의 별칭은 한 번에 하나의 아티팩트 버전에만 적용할 수 있습니다.
* **아티팩트 태그가 추가됨**: 프로젝트의 아티팩트 버전에, 지정한 **Tag regex**와 일치하는 태그가 적용되면 워크플로의 특정 step을 트리거합니다. 예를 들어, `^europe.*`를 지정하면 `europe` 문자열로 시작하는 태그가 아티팩트 버전에 추가될 때 지역별 워크플로를 트리거할 수 있습니다. Artifact 태그를 그룹화와 필터링에 사용합니다. 동일한 태그를 여러 아티팩트 버전에 할당할 수 있습니다.

<div id="run-events">
  ### Run 이벤트
</div>

다음 섹션에서는 [run 상태](/ko/models/runs/run-states)가 변경되거나 [run의 메트릭 값](/ko/models/track/log#what-data-is-logged-with-specific-wb-api-calls)이 변경될 때 시작되는 자동화를 구성하는 방법을 설명합니다.

<div id="run-status-change">
  #### Run 상태 변경
</div>

<Note>
  * 현재 [W\&B Multi-tenant Cloud](/ko/platform/hosting#wb-multi-tenant-cloud) 및 [Dedicated Cloud](/ko/platform/hosting#wb-dedicated-cloud)에서만 사용 가능합니다.
  * **Killed** 상태인 run은 자동화를 트리거할 수 없습니다. 이 상태는 관리자가 run을 강제로 중지했음을 의미합니다.
</Note>

run의 [상태](/ko/models/runs/run-states)가 **Running**, **Finished** 또는 **Failed**로 변경되면 워크플로를 트리거합니다. 필요에 따라 사용자 또는 run 이름 필터를 지정해 자동화를 트리거할 수 있는 run을 더 제한할 수 있습니다.

<Frame>
  <img src="https://mintcdn.com/wb-21fd5541-docs-2989/skbK2fVDyjROIi01/images/automations/run_status_change.png?fit=max&auto=format&n=skbK2fVDyjROIi01&q=85&s=8e2b6ca5e4caf147c830dd9c396332cb" alt="Run 상태 변경 자동화를 보여주는 스크린샷" width="434" height="419" data-path="images/automations/run_status_change.png" />
</Frame>

run 상태는 run 전체의 속성이므로 run 상태 자동화는 워크스페이스가 아니라 **Automations** 페이지에서만 만들 수 있습니다.

<div id="run-metrics-change">
  #### Run 메트릭 변경
</div>

<Note>
  현재 [W\&B Multi-tenant Cloud](/ko/platform/hosting#wb-multi-tenant-cloud) 및 [Dedicated Cloud](/ko/platform/hosting#wb-dedicated-cloud)에서만 사용 가능합니다.
</Note>

run의 이력에 있는 메트릭이나 CPU 사용률의 백분율을 추적하는 `cpu`와 같은 [시스템 메트릭](/ko/models/ref/python/experiments/system-metrics)의 로깅된 값을 기준으로 워크플로를 트리거합니다. W\&B는 시스템 메트릭을 15초마다 자동으로 로깅합니다.

프로젝트의 **Automations** 탭에서 또는 워크스페이스의 선형 플롯 패널에서 직접 run 메트릭 자동화를 생성할 수 있습니다.

run 메트릭 자동화를 설정하려면, 메트릭 값을 지정한 임곗값과 어떻게 비교할지 구성하세요. 선택할 수 있는 항목은 이벤트 유형과 지정한 필터에 따라 달라집니다.

선택적으로, 사용자 또는 run 이름 필터를 지정해 자동화를 트리거할 수 있는 run을 추가로 제한할 수 있습니다.

<div id="threshold">
  ##### 임곗값
</div>

메트릭이 고정된 값을 넘을 때 자동화를 시작하려면 임곗값 이벤트를 사용합니다. **Run 메트릭 임곗값 충족** 이벤트의 경우, 다음을 설정합니다.

1. 고려할 최근 로깅된 값의 윈도우(기본값은 5)
2. 윈도우 내에서 **평균**, **최솟값** 또는 **최댓값**을 평가할지 여부
3. 수행할 비교:
   * 초과
   * 이상
   * 미만
   * 이하
   * 같지 않음
   * 같음

예를 들어, 평균 `accuracy`가 `0.6`을 초과할 때 자동화를 트리거합니다.

<Frame>
  <img src="https://mintcdn.com/wb-21fd5541-docs-2989/skbK2fVDyjROIi01/images/automations/run_metrics_threshold_automation.png?fit=max&auto=format&n=skbK2fVDyjROIi01&q=85&s=b2da4add057fac52947b8c958e1e58f7" alt="run 메트릭 임곗값 자동화를 보여주는 스크린샷" width="434" height="478" data-path="images/automations/run_metrics_threshold_automation.png" />
</Frame>

<div id="change-threshold">
  ##### 변화 임곗값
</div>

변화 임곗값 이벤트를 사용하면 메트릭이 최근 값의 두 윈도우 사이에서 변할 때 자동화를 시작할 수 있습니다. **run 메트릭 변화 임곗값 충족** 이벤트의 경우, 자동화는 시작 여부를 확인하기 위해 값의 "윈도우" 두 개를 사용합니다:

* 검토할 최근 로깅된 값의 *현재 윈도우* (기본값: 10).
* 검토할 최근 로깅된 값의 *이전 윈도우* (기본값: 50).

현재 윈도우와 이전 윈도우는 연속되며 서로 겹치지 않습니다.

자동화를 생성하려면 다음을 설정합니다:

1. 로깅된 값의 현재 윈도우 (기본값: 10).
2. 로깅된 값의 이전 윈도우 (기본값: 50).
3. 값을 상대값으로 평가할지 절대값으로 평가할지 여부 (기본값: **상대값**).
4. 수행할 비교:
   * 다음 값 이상 증가
   * 다음 값 이상 감소
   * 다음 값 이상 증가 또는 감소

예를 들어, 평균 `loss`가 `0.25` 이상 감소하면 자동화를 트리거합니다.

<Frame>
  <img src="https://mintcdn.com/wb-21fd5541-docs-2989/skbK2fVDyjROIi01/images/automations/run_metrics_change_threshold_automation.png?fit=max&auto=format&n=skbK2fVDyjROIi01&q=85&s=7a2a4fd8b5c8786f08894753b01a985d" alt="run 메트릭 변화 임곗값 자동화를 보여주는 스크린샷" width="434" height="703" data-path="images/automations/run_metrics_change_threshold_automation.png" />
</Frame>

<div id="run-metrics-z-score-change">
  #### Run 메트릭 z-score 변경
</div>

<Note>
  현재 [W\&B Multi-tenant Cloud](/ko/platform/hosting#wb-multi-tenant-cloud) 및 [Dedicated Cloud](/ko/platform/hosting#wb-dedicated-cloud)에서만 사용 가능합니다.
</Note>

W\&B는 메트릭의 z-score(표준 점수)가 지정한 임곗값을 초과하면 자동화를 트리거할 수 있습니다. z-score는 프로젝트에서 구성 가능한 run 윈도우 전반에 걸친 해당 메트릭의 평균으로부터 값이 몇 표준편차만큼 떨어져 있는지를 나타냅니다(기본값은 run 30개).

z-score를 이벤트 트리거로 사용하려면 **Run metrics z-score threshold met** 이벤트를 선택합니다.

z-score 기반 Automations를 사용하면 모델이나 트레이닝 프로세스가 발전함에 따라 달라질 수 있는 절대 임곗값을 일일이 확인하지 않아도 비정상적인 성능을 팀에 알릴 수 있습니다.

프로젝트의 **Automations** 탭이나 워크스페이스의 선형 플롯 패널에서 직접 run 메트릭 z-score 자동화를 생성할 수 있습니다.

z-score 자동화를 생성하려면 다음을 설정합니다:

1. 양의 부동소수점 값으로 표현되는 대상 z-score 임곗값(예: 2.0).
2. 평균값을 계산하는 데 사용할 로깅된 값의 윈도우(기본값: 30).
3. 수행할 비교:
   * 초과(성능이 비정상적으로 높을 때 트리거됩니다).
   * 미만(성능이 비정상적으로 낮을 때 트리거됩니다).
   * 초과 또는 미만.

예를 들어 `accuracy`의 z-score가 2를 초과할 때 자동화를 트리거하도록 설정하면, 해당 run이 프로젝트의 다른 run보다 성능이 훨씬 높음을 의미합니다.

z-score 값의 의미는 다음과 같습니다:

* z-score가 0이면 메트릭이 평균 수준임을 의미합니다.
* z-score가 +2.0이면 메트릭이 평균보다 2 표준편차 높음을 의미합니다.
* z-score가 -2.0이면 메트릭이 평균보다 2 표준편차 낮음을 의미합니다.
* ±2를 벗어나는 값은 통계적으로 유의미한 이상치로 간주되는 경우가 많습니다.

<div id="run-filters">
  #### run 필터
</div>

이 섹션에서는 자동화가 평가할 run을 선택하는 방법을 설명합니다.

기본적으로 프로젝트의 모든 run은 이벤트가 발생하면 자동화를 트리거합니다. 다음 필터 중 하나를 설정해 자동화를 트리거할 run을 제한할 수 있습니다:

| 필터                   | 설명                            |
| -------------------- | ----------------------------- |
| **특정 사용자의 run만 필터링** | 지정한 사용자가 생성한 run만 포함합니다.      |
| **run 이름으로 필터링**     | 이름이 지정된 정규식과 일치하는 run만 포함합니다. |

자동화는 각 run을 다음과 같이 평가합니다:

* 각 run은 개별적으로 처리되며, 각각 자동화를 트리거할 수 있습니다.
* 각 run의 값은 별도의 윈도우에 들어가며, 임곗값과도 각각 별도로 비교됩니다.
* 24시간 동안 특정 자동화는 각 run마다 최대 한 번만 실행될 수 있습니다.

자세한 내용은 [자동화 만들기](/ko/models/automations/create-automations)를 참조하세요.

<div id="next-steps">
  ## 다음 단계
</div>

* [Slack 자동화 만들기](/ko/models/automations/create-automations/slack)
* [웹훅 자동화 만들기](/ko/models/automations/create-automations/webhook)