최근 포토로그


[elasticsearch] spark 를 이용한 마이그레이션 Hadoop echo system(kafka...)

하나의 spark context 에서 elasticsearch-hadoop 라이브러리 사용시 동일 클러스터 내에서만 동작
대안으로 아래의 방법으로 처리

val conf = new SparkConf().setAppName("Spark Migrating ES Data")
conf.set("es.nodes", "from.escluster.com")
val sc = new SparkContext(conf)
val allDataRDD = sc.esRDD("some/lovelydata")
val cfg = Map("es.nodes" -> "to.escluster.com")
allDataRDD.saveToEsWithMeta("clone/lovelydata", cfg)

덧글

댓글 입력 영역