Associate-Developer-Apache-Spark - 最新のトレーニングダンプス

NO.64 以下のコードブロックにエラーがあります。このコードブロックは、列predErrorの値が5以上であるDataFrame transactionsDfの行のみを含む新しいDataFrameを返すべきです。エラーを見つけてください。
コードブロック：
transactionsDf.where("col(predError) >= 5")

whereメソッドの引数は "predError >= 5 "でなければならない。

where()の代わりにfilter()を使うべきである。

この式は、新しい DataFrame ではなく、元の DataFrame transactionsDf を返す。これを避けるには、コード・ブロックは transactionsDf.toNewDataFrame().where("col(predError) >= 5")とすべきである。

whereメソッドの引数は文字列にはできない。

の代わりに、SQL演算子GEQを使うべきである。

NO.65 DataFrameのtransactionsDfが指定された場合、次のコードブロックのどれが次の出力を生成するか？
出力：
1.ルート
2.|- トランザクションID: 整数 (nullable = true)
3.|- predError: 整数 (nullable = true)
4.|- 値: 整数 (nullable = true)
5.|- storeId: 整数 (nullable = true)
6.|- productId: 整数 (nullable = true)
7.|- f: 整数 (nullable = true)
DataFrame transactionsDf：
1.+————-+———+—–+——-+———+—-+
2.|transactionId|predError|value|storeId|productId|f|。
3.+————-+———+—–+——-+———+—-+
4.|1|3|4|25|1|null|｜。
5.|2|6|7|2|2|null|｜。
6.| 3| 3| null| 25| 3| null|
7.+————-+———+—–+——-+———+—-+

transactionsDf.schema.print()

トランザクションDf.rdd.printSchema()

トランザクションDf.rdd.formatSchema()

トランザクションDf.printSchema()

print(transactionsDf.スキーマ)

NO.66 次のコードブロックのどれが、DataFrame transactionsDfから列predErrorとproductIdが削除されたDataFrameを返すか？
DataFrame transactionsDf のサンプル：
1.+————-+———+—–+——-+———+—-+
2.|transactionId|predError|value|storeId|productId|f｜｜トランザクションID
3.+————-+———+—–+——-+———+—-+
4.|1.|3.|4.|25.|1.|null||の
5.|2.|6.|7.|2.|2.|null||。
6.
7.+————-+———+—–+——-+———+—-+

トランザクションDf.withColumnRemoved("predError", "productId")

transactionsDf.drop(["predError", "productId", "associateId"])

transactionsDf.drop("predError", "productId", "associateId")。

transactionsDf.dropColumns("predError", "productId", "associateId")

transactionsDf.drop(col("predError", "productId"))

NO.67 シャッフルを説明するものは次のうちどれ？

シャッフルは、ブロードキャスト・ハッシュ結合時に実行される処理である。

シャッフルは、エクゼキュータ間でデータを比較する処理である。

シャッフルとは、パーティション間でデータを比較する処理である。

シャッフルは、DataFrame.coalesce() の結果として得られる Spark の操作です。

シャッフルは、パーティションをエクゼキュータに割り当てる処理である。

NO.68 以下のコード・ブロックは、itemNameElements 列に少なくとも 3 つの項目を持つ DataFrame itemsDf のすべての行を返す必要があります。これを達成するために、コード・ブロックの空白を正しく埋める答えを選びなさい。
DataFrameの例 itemsDf：
1.+——+———————————-+——————-+——————————————+
2.|itemId|itemName|supplier|itemNameElements|。
3.+——+———————————-+——————-+——————————————+
4.|1｜雪中ウォーキング用厚手コート｜株式会社スポーツカンパニー｜【雪中ウォーキング用】厚手コート
5.サマードレス｜YetiX｜【エレガント, アウトドア, サマー, ワンピース】｜YetiX(イエティックス)
6.|3｜アウトドアリュック｜スポーツカンパニー｜[アウトドア, リュック
7.コードブロック：
itemsDf.__1__(__2__(__3__)__4__)

1.選択する。
2. カウント
3. col("itemNameElements")
4.>3

1. フィルター
2. カウント
3. itemName要素
4.>=3

1.選択する。
2. カウント
3."アイテム名要素"
4.>3

1. フィルター
2. サイズ
3."アイテム名要素"
4.>=3
正解

1.選択する。
2. サイズ
3."アイテム名要素"
4.>3

NO.69 Spark UIの特徴について説明しているのは、次のうちどれですか？

Spark UIを介して、ワークロードを手動でエクゼキュータに分散させることができる。

Spark UIを介して、ステージの実行速度を変更することができる。

Schedulerタブは、複数のユーザーによって並列実行されるジョブがクラスタ全体にどのように分散されるかを示します。

Spark UIにはspark.executor.memoryというプロパティを表示する場所があります。

Spark UIには、Jobs、Stages、Storage、DAGs、Executors、SQLという名前のタブがあります。

70位 SparkのAdaptive Query Executionについて説明しているのは、次のうちどれですか？

適応型クエリ実行機能には、シャッフルパーティションの動的合体、スキャンフィルタの動的注入、スキュー結合の動的最適化などがある。

SparkではAdaptive Query Executionがデフォルトで有効になっている。

Adaptive Query Executionは、実行ポイントでクエリを再最適化する。

適応型クエリ実行機能は、結合ストラテジーを動的に切り替え、スキュー結合を動的に最適化する。

適応型クエリ実行は、あらゆる種類のクエリに適用される。

NO.71 Sparkのガベージコレクションに関する次の記述のうち、誤っているものはどれですか？

ガベージコレクション情報は、Spark UIのステージ詳細ビューでアクセスできる。

Sparkでガベージコレクションのパフォーマンスを最適化すると、キャッシュ能力が制限される可能性がある。

SparkでRDDを手動で永続化すると、ガベージコレクションされなくなる。

Sparkでは、G1ガベージコレクタを使用すると、デフォルトのParallelガベージコレクタを使用する代わりになります。

シリアライズド・キャッシングは、ガベージ・コレクションのパフォーマンスを向上させる戦略である。

説明
SparkでRDDを手動で永続化すると、ガベージコレクションされなくなる。
この記述は間違っているため、問題の正解となります。Sparkのガベージコレクタは、"LRU "方式ではありますが、永続化されたオブジェクトも削除します。LRUは "Least Recently Used "の略です。
そのため、ガベージコレクションの実行中、最も長い時間前に使用されたオブジェクトが最初にガベージコレクションされる。
詳しくはリンク先のStackOverflowの投稿を参照のこと。
シリアライズド・キャッシングは、ガベージ・コレクションのパフォーマンスを向上させる戦略である。
この記述は正しい。Sparkがガベージ・コレクション中に収集する必要があるJavaオブジェクトが多ければ多いほど、時間がかかる。複雑なスキーマを持つDataFrameのような多数のJavaオブジェクトのコレクションを、1バイトの配列としてシリアライズして格納すると、パフォーマンスが向上します。つまり、シリアライズされたDataFrameでは、シリアライズされていないDataFrameよりもガベージコレクションにかかる時間が短くなります。
Sparkでガベージコレクションのパフォーマンスを最適化すると、キャッシュ能力が制限される可能性がある。
この記述は正しい。完全なガベージコレクションの実行は、Sparkアプリケーションを遅くします。ガベージコレクションは
ガベージコレクションの "チューニング "とは、このようなスローダウンの量や時間を減らすことを意味する。
フル・ガベージ・コレクションの実行は、Javaヒープ空間の旧世代がほぼ一杯になったときにトリガーされる。(この概念に馴染みがない場合は、以下のガベージ・コレクション・チューニング・ドキュメントへのリンクをチェックしてください)。したがって、ガベージ・コレクションの実行をトリガーしないようにする1つの対策は、ヒープ空間のOld世代のシェアがほぼいっぱいになるのを防ぐことです。
そのためには、サイズを小さくすればよい。旧世代スペースより大きなサイズを持つオブジェクトは、旧世代スペースにキャッシュされる（保存される）代わりに破棄され、"ほぼ満杯 "になる。
これにより、完全なガベージコレクションの実行回数が減り、全体的なパフォーマンスが向上する。
しかし、必然的に、オブジェクトは必要なときに再計算する必要がある。そのため、このメカニズムが機能するのは、Sparkアプリケーションがキャッシュされたデータをできるだけ再利用しないようにする必要がある場合に限られる。
ガベージコレクション情報は、Spark UIのステージ詳細ビューでアクセスできる。
この記述は正しい。Spark UIのステージ詳細ビューのタスクテーブルには、タスクごとに必要なガベージコレクション時間を示す「GC Time」列があります。
Sparkでは、G1ガベージコレクタを使用すると、デフォルトのParallelガベージコレクタを使用する代わりになります。
この記述は正しい。G1ガベージコレクタは、ガベージファーストガベージコレクタとも呼ばれ、デフォルトのParallelガベージコレクタに代わるものである。
デフォルトのParallelガベージコレクタがヒープをいくつかの静的領域に分割するのに対して、G1ガベージコレクタはヒープを動的に作成される多くの小さな領域に分割する。G1ガベージコレクタは、特に高スループットと低レイテンシを必要とするSparkワークロードのパフォーマンスを向上させるParallelガベージコレクタよりも特定の利点を持っています。
G1ガベージコレクタはデフォルトでは有効になっておらず、有効にするにはSparkに明示的に引数を渡す必要がある。2つのガベージコレクタの詳細については、以下のリンク先のDatabricksの記事を参照してください。

NO.72 次のコードブロックのうち、スキーマ fileSchema を使用して、filePath の場所にあるパーケットファイルを DataFrame に読み込むものはどれですか？

spark.read.schema(fileSchema).format("parquet").load(filePath)

spark.read.schema("fileSchema").format("parquet").load(filePath)

spark.read().schema(fileSchema).parquet(filePath)

spark.read().schema(fileSchema).format(parquet).load(filePath)

spark.read.schema(fileSchema).open(filePath)

NO.73 以下のコード・ブロックにエラーがあります。このコード・ブロックは、DataFrame transactionsDf を parquet ファイルとして path に保存し、既存の parquet ファイルに追加する必要があります。エラーを見つけてください。
コードブロック：

transactionsDf.format("parquet").option("mode", "append").save(パス)

コードブロックに DataFrameWriter への参照がありません。

save()は遅延的に評価され、アクションが続く必要がある。

modeオプションを省略すると、コマンドはデフォルトのモードを使用する。

このコードブロックには、パーティションを処理するbucketByコマンドがない。

DataFrameはparquetファイルとして保存されるべきであるが、パスが間違ったメソッドに渡されている。

NO.74 次のうち、Sparkのクラスタ実行モードとクライアント実行モードの違いを説明しているものはどれですか？

クラスタモードでは、クラスタマネージャはワーカーノードに常駐し、クライアントモードではエッジノードに常駐する。

クラスタモードでは、エクゼキュータプロセスはワーカーノード上で実行され、クライアントモードではゲートウェイノード上で実行される。

クラスターモードでは、ドライバはワーカーノードに常駐し、クライアントモードではエッジノードに常駐する。

クラスターモードでは、ゲートウェイマシンがドライバーをホストし、クライアントモードでは、ゲートウェイマシンがエクゼキューターと同居する。

クラスターモードでは、Sparkドライバはクラスターマネージャと同居しないが、クライアントモードでは同居する。

説明
クラスターモードでは、ドライバはワーカーノードに常駐し、クライアントモードではエッジノードに常駐する。
正しい。Sparkのクライアントモードのアイデアは、ゲートウェイマシンとも呼ばれるエッジノードから、クラスタ外からワークロードを実行できることだ。しかし、Sparkを実行する最も一般的な方法は、ドライバーをワーカーノードに常駐させるクラスターモードです。
実際には、クライアントモードでは、クラスタ内のワーカーノード間のデータ転送速度に対して、データ転送速度に厳しい制約があります。また、クライアントモードで実行されるジョブは、エッジノードに障害が発生すると失敗します。これらの理由から、クライアントモードは本番環境では通常使用されません。
クラスタモードでは、クラスタマネージャはワーカーノードに常駐し、クライアント実行モードではエッジノードに常駐する。
どちらの実行モードでも、クラスタマネージャはワーカーノードに常駐することができますが、クライアントモードではエッジノードには常駐しません。
クラスタモードでは、エクゼキュータプロセスはワーカーノード上で実行され、クライアントモードではゲートウェイノード上で実行される。
これは正しくない。ゲートウェイノード（「エッジノード」とも呼ばれる）上でクライアントモードで実行されるのはドライバーだけで、エクゼキュータープロセスは実行されない。
クラスターモードでは、Sparkドライバはクラスターマネージャと同居しないが、クライアントモードでは同居する。
いいえ、クライアントモードでは、Sparkドライバはドライバと同居していません。クライアントモードの要点は、ドライバがクラスタの外にあり、クラスタを管理するリソース（クラスタマネージャを実行するマシン）に関連付けられていないことです。
クラスターモードでは、ゲートウェイマシンがドライバーをホストし、クライアントモードでは、ゲートウェイマシンがエクゼキューターと同居する。
いや、正反対だ：クラスターモードではゲートウェイマシンは存在しないが、クライアントモードではゲートウェイマシンがドライバをホストする。

NO.75 次のコードブロックのどれが、各列の値の標準偏差と最小値を含む、DataFrame transactionsDfのすべての列のさまざまな集計統計情報を表示しますか？

トランザクションDf.summary()

transactionsDf.agg("count", "mean", "stddev", "25%", "50%", "75%", "min")

transactionsDf.summary("count", "mean", "stddev", "25%", "50%", "75%", "max").show()

transactionsDf.agg("count", "mean", "stddev", "25%", "50%", "75%", "min").show()

transactionsDf.summary().show()

NO.76 以下のコードブロックにエラーがあります。このコード・ブロックは、itemId 列で DataFrame itemsDf とより大きな DataFrame transactionsDf を結合するためのものです。エラーを見つけてください。
コードブロック：
transactionDf.join(itemsDf, "itemId", how="ブロードキャスト")

構文が間違っている。how=はコードブロックから削除すべきである。

ジョイン方式はブロードキャスト方式に置き換えるべきだ。

Sparkは、この動作がSparkクラスタで有効になっている場合にのみ、ブロードキャスト操作を実行します。

より小さなDataFrame itemsDfではなく、より大きなDataFrame transactionsDfがブロードキャストされている。

ブロードキャストは有効な結合型ではない。

77位 次のコードブロックのどれが、エクゼキュータ上のDataFrame itemsDfにデータの一部を保存しますか？

itemsDf.cache().count()

itemsDf.cache(eager=True)

キャッシュ(itemsDf)

itemsDf.cache().filter()

itemsDf.rdd.storeCopy()

NO.78 次のコードブロックのうち、DataFrameの構造をツリー状に示し、カラム名と型の両方を含むものはどれですか？

1.print(itemsDf.columns)
2.print(itemsDf.types)

itemsDf.printSchema()

spark.schema(itemsDf)

itemsDf.rdd.printSchema()

itemsDf.print.schema()

NO.79 以下のコード・ブロックは、DataFrame transactionsDf から transactionsId、predError、value、f 列を持つ DataFrame を返す必要があります。これを達成するために、コード・ブロックの空白を正しく埋める答えを選びなさい。
transactionsDf.__1__(__2__)

1. フィルター
2.「transactionId"、"predError"、"value"、"f"

1.選択する。
2.「transactionId、predError、value、f"

1.選択する。
2.[transactionId」、「predError」、「value」、「f」]。

1. どこで
2. col("transactionId"), col("predError"), col("value"), col("f")

1.選択する。
2. col(["transactionId", "predError", "value", "f"])

NO.80 以下のコードブロックは、DataFrame transactionsDf にカラム cos を追加したコピーを返すはずである。
この列は、列 value の値を度数に変換し、変換した値の余弦をとり、小数第 2 位を四捨五入したものでなければならない。これを達成するために、コードブロックの空白を正しく埋める答えを選びなさい。
コードブロック：
transactionsDf.__1__(__2__, round(__3__(__4__(__5__)),2))

1. withColumn
2. col("cos")
3. コス
4.度
5. トランザクションDf.値

1. withColumnRenamed
2.コス
3. コス
4.度
5."transactionsDf.value"

1. withColumn
2.コス
3. コス
4.度
5. トランザクションDf.値

1. withColumn
2. col("cos")
3. コス
4.度
5. col("値")
E
.1. withColumn
2.コス
3.度
4. コス
5. col("値")

NO.81 次のコードブロックのどれが、DataFrame itemsDfの列属性に含まれる、文字iを含むすべての項目がリストされた単一列を持つDataFrameを返すか？
DataFrameのサンプル itemsDf：
1.+——+———————————-+—————————–+——————-+
2.|itemId|itemName|attributes|supplier|の項目。
3.+——+———————————-+—————————–+——————-+
4.|1｜雪中ウォーキング用厚手コート｜[ブルー, 冬, 快適]｜株式会社スポーツカンパニー
5.|2｜エレガント・アウトドア・サマーワンピース｜[赤,夏,爽やか,涼しげ]｜YetiX｜イエティックス
6.|3｜アウトドアリュック｜[グリーン,サマー,トラベル]｜株式会社スポーツカンパニー
7.+——+———————————-+—————————–+——————-+

itemsDf.select(explode("attributes").alias("attributes_exploded")).filter(attributes_exploded.contains("i"))

itemsDf.explode(attributes).alias("attributes_exploded").filter(col("attributes_exploded").contains("i"))

itemsDf.select(explode("attributes")).filter("attributes_exploded".contains("i"))

itemsDf.select(explode("attributes").alias("attributes_exploded")).filter(col("attributes_exploded").contain

itemsDf.select(col("attributes").explode().alias("attributes_exploded")).filter(col("attributes_exploded").co

NO.82 次のコードブロックのうち、DataFrame itemsDfの列属性がfeature0に、列供給元がfeature1にリネームされた新しいDataFrameを返すものはどれですか？

itemsDf.withColumnRenamed(attributes, feature0).withColumnRenamed(supplier, feature1)

1.itemsDf.withColumnRenamed("attributes", "feature0")
2.itemsDf.withColumnRenamed("supplier", "feature1")

itemsDf.withColumnRenamed(col("attributes"), col("feature0"), col("supplier"), col("feature1"))

itemsDf.withColumnRenamed("attributes", "feature0").withColumnRenamed("supplier", "feature1")

itemsDf.withColumn("attributes", "feature0").withColumn("supplier", "feature1")

カテゴリー Associate-Developer-Apache-Spark

信頼性の高いDatabricks認定アソシエイト-Developer-Apache-Spark Dumps PDF Apr 28, 2022 Latest Updated Questions [Q64-Q82].