Spark DataFrame에 빈 열 추가

Spark DataFrame에 빈 열 추가

웹의 다른 많은 위치에서 언급된 것처럼 기존 DataFrame에 새 열을 추가하는 것은 간단하지 않습니다.불행하게도 특히 두 가지를 연결하려고 할 때는 (분산 환경에서는 비효율적이지만) 이 기능을 갖는 것이 중요합니다.DataFrame사용하는unionAll.

추가를 위한 가장 우아한 해결책은 무엇입니까?nullA에 칼럼을 싣다DataFrame를 용이하게 하다unionAll?

내 버전은 다음과 같습니다.

from pyspark.sql.types import StringType
from pyspark.sql.functions import UserDefinedFunction
to_none = UserDefinedFunction(lambda x: None, StringType())
new_df = old_df.withColumn('new_column', to_none(df_old['any_col_from_old']))

여기서 필요한 것은 수입입니다.StringType사용하는 것.lit그리고.cast:

from pyspark.sql.types import StringType
from pyspark.sql.functions import lit

new_df = old_df.withColumn('new_column', lit(None).cast(StringType()))

전체 예시:

df = sc.parallelize([row(1, "2"), row(2, "3")]).toDF()
df.printSchema()
# root
#  |-- foo: long (nullable = true)
#  |-- bar: string (nullable = true)

new_df = df.withColumn('new_column', lit(None).cast(StringType()))

new_df.printSchema()
# root
#  |-- foo: long (nullable = true)
#  |-- bar: string (nullable = true)
#  |-- new_column: string (nullable = true)

new_df.show()
# +---+---+----------+
# |foo|bar|new_column|
# +---+---+----------+
# |  1|  2|      null|
# |  2|  3|      null|
# +---+---+----------+

Scala 등가물은 여기에서 찾을 수 있습니다: 빈 필드 값/null 필드 값으로 새 데이터 프레임 만들기

StringType 대신 NullType에 litted(없음) 캐스트합니다.그래서 만약 우리가 그 열에 있는 null 행을 걸러내지 않으면..다음과 같이 쉽게 할 수 있습니다.

df = sc.parallelize([Row(1, "2"), Row(2, "3")]).toDF()

new_df = df.withColumn('new_column', lit(None).cast(NullType()))

new_df.printSchema() 

df_null = new_df.filter(col("new_column").isNull()).show()
df_non_null = new_df.filter(col("new_column").isNotNull()).show()

또한 StringType에 캐스팅할 경우 col("new_column")에서 필터 조건이 .isNull()인 레코드를 검색하지 못하므로 litted("없음")(따옴표 포함)를 사용하지 않도록 주의해야 합니다.

없는 옵션import StringType

df = df.withColumn('foo', F.lit(None).cast('string'))

전체 예제:

from pyspark.sql import functions as F
df = spark.range(1, 3).toDF('c')

df = df.withColumn('foo', F.lit(None).cast('string'))

df.printSchema()
#     root
#      |-- c: long (nullable = false)
#      |-- foo: string (nullable = true)

df.show()
#     +---+----+
#     |  c| foo|
#     +---+----+
#     |  1|null|
#     |  2|null|
#     +---+----+

df1.selectExpr("school","null as col1").show()

출력:

+--------------------+----+
|              school|col1|
+--------------------+----+
|Shanghai Jiao Ton...|null|
|   Peking University|null|
|Shanghai Jiao Ton...|null|
|    Fudan University|null|
|    Fudan University|null|
| Tsinghua University|null|
|Shanghai Jiao Ton...|null|
| Tsinghua University|null|
| Tsinghua University|null|
|   Peking University|null|

또는 pyspark 2.2+에 있습니다.

df1.pandas_api().assign(new_column=None)

이걸 그냥 사용하는게 어때요?

from pyspark.sql.functions import lit
df.withColumn("column_name", lit("")).show()

언급URL : https://stackoverflow.com/questions/33038686/add-an-empty-column-to-spark-dataframe