bugfix> pyspark > 投稿

私はpysparkを初めて使い、GraphFrameからモチーフを見つけるのに苦労しています。空の結果が得られていますが、頂点とエッジの間に関係が存在するという事実を知っています。 ClouderaのJupyterでSpark 1.6を使用してこれを実行しています。これらのリンクには、頂点とエッジ(およびスキーマ)のスクリーンショットがあります。頂点RDD そしてエッジRDD

私は読んでいますGraphFrames しかし、それを取得していない...私はこれまでに次のコードを持っています。私はどこに間違っていますか?

#import relevant libraries for Graph Frames
from pyspark import SparkContext
from pyspark.sql import SQLContext
from pyspark.sql.functions import desc
from graphframes import *
#Read the csv files 
verticesRDD = sqlContext.read.format("com.databricks.spark.csv").options(header='true', inferschema='true').load("filepath/station.csv")
edgesRDD = sqlContext.read.format("com.databricks.spark.csv").options(header='true', inferschema='true').load("filepath/trip.csv")
#Renaming the id columns to enable GraphFrame 
verticesRDD = verticesRDD.withColumnRenamed("station_ID", "id")
edgesRDD = edgesRDD.withColumnRenamed("Trip ID", "id")
edgesRDD = edgesRDD.withColumnRenamed("Start Station", "src")
edgesRDD = edgesRDD.withColumnRenamed("End Station", "dst")
#Register as temporary tables for running the analysis
verticesRDD.registerTempTable("verticesRDD")
edgesRDD.registerTempTable("edgesRDD")
#Note: whether i register the RDDs as temp tables or not, i get the same epty results... so im not sure if this step is really needed
#Make the GraphFrame
g = GraphFrame(verticesRDD, edgesRDD)
print g
#this deisplays the following:
#GraphFrame(v:[id: int, name: string, lat: double, long: double, dockcount: int, landmark: string, installation: string], e:[src: string, dst: string, id: int, Duration: int, Start Date: string, Start Terminal: int, End Date: string, End Terminal: int, Bike #: int, Subscriber Type: string, Zip Code: string])
#Stations where a is connected to b
motifs = g.find("(a)-[e1]->(b)")
motifs.show()
+---+---+---+
| e1|  a|  b|
+---+---+---+
+---+---+---+
motifs = g.find("(a)-[e1]->(b); (b)-[e2]->(a)")
motifs.show()
+---+---+---+---+
| e1|  a|  b| e2|
+---+---+---+---+
+---+---+---+---+

motifs = g.find("(a)-[e1]->(b); (b)-[e2]->(c)")
motifs.show()
+---+---+---+---+---+
| e1|  a|  b| e2|  c|
+---+---+---+---+---+
+---+---+---+---+---+
#Stations where a is connected to b, b is connected to c 
#but c is not connected to a
motifs = g.find("(a)-[e1]->(b); (b)-[e2]->(c)").filter("(c!=a)")
motifs.show()
+---+---+---+---+---+
| e1|  a|  b| e2|  c|
+---+---+---+---+---+
+---+---+---+---+---+

回答 1 件
  • 問題は、頂点の定義方法でした。 「station_id」の名前を「id」に変更していましたが、実際には「name」である必要がありました。

    verticesRDD = verticesRDD.withColumnRenamed("station_ID", "id")
    
    

    である必要があります

    verticesRDD = verticesRDD.withColumnRenamed("name", "id")
    
    

    この変更でモチーフは適切に機能します!

あなたの答え