Fehler bei Verwendung von OFF_HEAP Storage mit Spark 1.4.0 und Tachyon 0.6.4

70

Ich versuche, meine RDD mit Off-Heap-Speicher auf Spark 1.4.0 und Tachyon 0.6.4 so zu halten: 

val a = sqlContext.parquetFile("a1.parquet")
a.persist(org.apache.spark.storage.StorageLevel.OFF_HEAP)
a.count()

Danach bekomme ich folgende Ausnahme.

Irgendwelche Ideen dazu? 

15/06/16 10:14:53 INFO : Tachyon client (version 0.6.4) is trying to connect master @ localhost/127.0.0.1:19998
15/06/16 10:14:53 INFO : User registered at the master localhost/127.0.0.1:19998 got UserId 3
15/06/16 10:14:53 INFO TachyonBlockManager: Created tachyon directory at /tmp_spark_tachyon/spark-6b2512ab-7bb8-47ca-b6e2-8023d3d7f7dc/driver/spark-tachyon-20150616101453-ded3
15/06/16 10:14:53 INFO BlockManagerInfo: Added rdd_10_3 on ExternalBlockStore on localhost:33548 (size: 0.0 B)
15/06/16 10:14:53 INFO BlockManagerInfo: Added rdd_10_1 on ExternalBlockStore on localhost:33548 (size: 0.0 B)
15/06/16 10:14:53 ERROR TransportRequestHandler: Error while invoking RpcHandler#receive() on RPC id 5710423667942934352
org.apache.spark.storage.BlockNotFoundException: Block rdd_10_3 not found
    at org.apache.spark.storage.BlockManager.getBlockData(BlockManager.scala:306)
    at org.apache.spark.network.netty.NettyBlockRpcServer$$anonfun$2.apply(NettyBlockRpcServer.scala:57)
    at org.apache.spark.network.netty.NettyBlockRpcServer$$anonfun$2.apply(NettyBlockRpcServer.scala:57)
    at scala.collection.TraversableLike$$anonfun$map$1.apply(TraversableLike.scala:244)
    at scala.collection.TraversableLike$$anonfun$map$1.apply(TraversableLike.scala:244)
    at scala.collection.IndexedSeqOptimized$class.foreach(IndexedSeqOptimized.scala:33)
    at scala.collection.mutable.ArrayOps$ofRef.foreach(ArrayOps.scala:108)
    at scala.collection.TraversableLike$class.map(TraversableLike.scala:244)
    at scala.collection.mutable.ArrayOps$ofRef.map(ArrayOps.scala:108)
    at org.apache.spark.network.netty.NettyBlockRpcServer.receive(NettyBlockRpcServer.scala:57)
    at org.apache.spark.network.server.TransportRequestHandler.processRpcRequest(TransportRequestHandler.java:114)
    at org.apache.spark.network.server.TransportRequestHandler.handle(TransportRequestHandler.java:87)
    at org.apache.spark.network.server.TransportChannelHandler.channelRead0(TransportChannelHandler.java:101)
    at org.apache.spark.network.server.TransportChannelHandler.channelRead0(TransportChannelHandler.java:51)
    at io.netty.channel.SimpleChannelInboundHandler.channelRead(SimpleChannelInboundHandler.java:105)
    at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:333)
    at io.netty.channel.AbstractChannelHandlerContext.fireChannelRead(AbstractChannelHandlerContext.java:319)
    at io.netty.handler.timeout.IdleStateHandler.channelRead(IdleStateHandler.java:254)
    at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:333)

Ich habe das auch mit der Textdatei versucht und konnte sie in Tachyon beibehalten. Das Problem besteht darin, dass der ursprünglich aus Parkett gelesene DataFrame beibehalten wird.

apache-spark  apache-spark-sql  alluxio 
— Smikesh
quelle
Ich denke, Sie haben diese Methode nach dem Build hinzugefügt oder es kann sein, dass ein Build-Fehler vorliegt. Versuchen Sie es mit einem Wiederaufbau.
— Kaushal
Ich habe sie nicht selbst hinzugefügt. Spark versucht, sie anzurufen, während die RDD auf Tachyon
— Smikesh
Ich habe keine Ahnung von Tachyon. Sie überprüfen zunächst die Abhängigkeitsversion, ob sie kompatibel ist oder nicht, oder einige fehlende Abhängigkeiten.
— Kaushal
1
Können Sie Ihren Code hier posten?
— Paul H.
1
Sind Sie sicher, dass dies mit der Off-Heap-Zuweisung zusammenhängt? In diesem Fall kann dies mit Serialisierungsproblemen zusammenhängen. Interessiert sich auch für Code.
— Adrien M.

Antworten:

1

Es scheint einen verwandten Fehlerbericht zu geben: https://issues.apache.org/jira/browse/SPARK-10314

Da es eine Pull-Anfrage dafür zu geben scheint, besteht möglicherweise die Möglichkeit, bald eine Lösung dafür zu finden.

Aus diesem Thread, https://groups.google.com/forum/#!topic/tachyon-users/xb8zwqIjIa4 , geht hervor, dass Spark den TRY_CACHE-Modus verwendet, um in Tachyon zu schreiben, sodass die Daten verloren zu gehen scheinen, wenn sie aus dem Cache entfernt werden .

— Benohead
quelle
0

Dieses Problem ist jetzt behoben. Ich kann dies jetzt mit Spark 1.5 und Tachyon 0.7 bestätigen

— Smikesh
quelle
Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.