yarn 예제

yarnpkg/예제 원사 패키지에 새로운 릴리스에 대한 알림을 원하십니까? 세 번째 모델은 다른 사용자가 공유하는 장기 실행 응용 프로그램입니다. 이러한 응용 프로그램은 종종 일종의 조정 역할로 작동합니다. 예를 들어, 아파치 슬라이더는 클러스터에서 다른 응용 프로그램을 실행 하기 위한 장기 실행 응용 프로그램 마스터. 이 방법은 임팔라(SQL-on-Hadoop 대안 참조)에서 임팔라 데몬이 클러스터 리소스를 요청하기 위해 통신하는 프록시 응용 프로그램을 제공하는 데도 사용됩니다. “항상 켜져 있는” 응용 프로그램 마스터는 새 응용 프로그램 마스터를 시작하는 오버헤드를 피할 수 있기 때문에 사용자가 쿼리에 대해 매우 짧은 대기 시간 응답을 가지고 있음을 의미합니다. 로다쉬와 제스트는 원사에 필요하지 않다는 점에 유의해야 합니다. Yarn 패키지에 대 한 코드를 만들 때 사용할 수 있는 것의 예일 뿐입니다. 종속성 필드에는 이 패키지가 종속된 다른 패키지가 나열됩니다. 예제 패키지는 곱하기 함수를 사용하기 때문에 Lodash에 따라 다릅니다. 스크립트 필드는 원사를 실행할 때 사용하려는 특수 스크립트에 대한 것입니다. 예를 들어, 여기서는 Yest 테스트를 원사 패키지에 추가했기 때문에 Jest 테스트 러너를 호출하는 테스트라는 스크립트를 추가합니다. YARN 응용 프로그램은 Hadoop에서 실행되는 특정 함수를 구현합니다. MapReduce는 YARN 응용 프로그램의 예입니다.

YARN 응용 프로그램에는 클라이언트, ApplicationMaster(AM) 및 컨테이너라는 세 가지 구성 요소가 포함되며 두 번째 모델은 워크플로또는 사용자 세션(관련이 없는) 작업의 사용자 세션당 하나의 응용 프로그램을 실행하는 것입니다. 이 방법은 컨테이너를 작업 간에 재사용할 수 있고 작업 간에 중간 데이터를 캐시할 수 있기 때문에 첫 번째 방법보다 더 효율적일 수 있습니다. 스파크는 이 모델을 사용하는 예입니다. . 더 큰 관점에서 YARN은 대규모 동적 및 병렬 리소스 인프라를 활용하는 응용 프로그램에 필수적인 서비스를 제공하는 클러스터 차원의 운영 체제로 볼 수 있습니다. 모든 언어로 작성된 응용 프로그램은 이제 모든 규모의 클러스터 내에서 결합된 Hadoop 계산 및 저장소 자산을 활용할 수 있습니다. 기본 구성 디렉터리를 재정의합니다. 기본값은 ${HADOOP_HOME}/conf입니다. package.json에는 프로덕션 및 개발 종속성과 함께 우리가 만든 패키지에 특정한 공통 기본 필드가 있습니다. YARN을 통해 사용자는 실시간 처리를 위한 Spark, SQL용 하이브, NoSQL용 HBase 등과 같은 다양한 도구를 사용하여 요구 사항에 따라 작업을 수행할 수 있었습니다. 이 프로세스의 일부로 ApplicationMaster는 각 컨테이너에 필요한 리소스를 컨테이너를 시작해야 하는 호스트와 컨테이너의 메모리 및 CPU 요구 사항을 지정해야 합니다. ResourceManager가 정확한 리소스 요구 사항에 따라 작업을 예약하는 기능은 YARN의 유연성의 핵심이며 호스트가 컨테이너를 혼합하여 실행할 수 있도록 합니다.

원사 init는 다음과 유사한 기본 package.json을 생성합니다: ApplicationMaster는 또한 응용 프로그램의 특정 내결함성 동작에 대한 책임이 있습니다. 컨테이너가 실패할 때 ResourceManager에서 상태 메시지를 수신하고 이러한 이벤트를 기반으로 작업을 수행하거나(ResourceManager에 새 컨테이너를 만들도록 요청) 이러한 이벤트를 무시하도록 결정할 수 있습니다.