bitnine-oss / agens-spark-modules Goto Github PK

• Problem

ES 에 저장된 property.type = java.lang.Float 인 데이터 property.value 를 spark-cypher 에서 읽어들이면서 Double 로 변환
이후, cypher 처리 과정에서 변환 값을 StructType(Float) 에 저장할 때 type mismatch 오류 발생

Expected:
	Equal column data types for union all (differing nullability is OK)
Found:
	Left fields:  ... StructField(node_e_score __ FLOAT?,DoubleType,true) ...

SparkTable.scala:186

// ERROR: mismatch (float type => double type)
leftTypes.zip(rightTypes).foreach {
  case (leftType, rightType) if !leftType.nullable.couldBeSameTypeAs(rightType.nullable) =>
    throw IllegalArgumentException(
      "Equal column data types for union all (differing nullability is OK)",
      s"Left fields:  ${df.schema.fields.mkString(", ")}\n\tRight fields: ${other.df.schema.fields.mkString(", ")}")
  case _ =>
}

• comment

spark-cypher 코드 자체에서는 Float 를 Double 로 타입변환 시키는 코드는 없음
내부에 사용한 다른 라이브러리에서 처리된 영향인듯 하나, 현재로서는 찾지 못하고 있음

• Solution (not perpect)

값을 입력할 때, "java.lang.Float" 는 사용하지 말도록 권고 (must be "java.lang.Double")

• addition

그 외 "java.lang.Integer" 등은 관계 없음. 단지, 소수점 숫자값에 대해서만 문제 발견