Zeppelin에서 Spark2.4를 이용하기 (on VPC)

이 페이지에서는 Cloud Hadoop(Spark 타입)의 Zeppelin에서 이용중인 Spark 2.3 버젼을 Spark2.4로 변경하여 이용하는 방법을 설명합니다.

목차

사전 준비

Zeppelin에서 Spark2.4를 이용하기 위해서는 Zeppelin 버젼 업그레이드 작업도 필요합니다. 자세한 내용은 Zeppelin에서 제공하는 Supported Interpreters 를 참고합니다.

Zeppelin 업그레이드와 Spark2.4 Client 설치하기

  1. Ambari-Server 웹UI에 로그인하여 Zeppelin 서비스를 중지합니다.

  2. 엣지노드에 SSH로 접속하여 Zeppelin 0.8.0 버젼을 제거합니다. 엣지노드에 SSH 접속 방법은 클러스터 노드에 SSH접속하기를 참고합니다.

     rpm -e `rpm -qa | grep zeppelin`
    
  3. Zeppelin 0.8.1 버젼을 설치합니다.

     rpm -ivh http://repo.ncloud.com/hadoop/HDP-3.1.0.0/zeppelin/zeppelin_3_1_0_0_78-0.8.1.3.1.0.0-78.noarch.rpm
    
  4. Spark2.4 Client를 설치합니다.

     rpm -ivh http://repo.ncloud.com/hadoop/HDP-3.1.0.0/spark2/spark2-client-2.4.7-1.noarch.rpm
    
  5. Ambari-Server 웹UI에서 Zeppelin 서비스를 시작합니다.

  6. Zeppelin 서비스에 로그인하여 interpreter 메뉴를 선택합니다.

  7. spark2에 SPARK_HOME 설정을 추가합니다.

  8. spark2의 restart 버튼을 클릭하여 interpreter 를 재시작합니다.

Zeppelin의 새 노트를 생성하여 Spark 버젼을 확인하기

  1. Create New Note 메뉴를 선택하여 새 노트를 생성합니다.

  2. Spark 버젼을 확인 합니다.

""에 대한 건이 검색되었습니다.

    ""에 대한 검색 결과가 없습니다.

    처리중...