use repo deltacodec for recipe and files

this should not only be more efficient in space but also in time

drop old Commit and Restore tests that do not use compression

1 files changed, 0 insertions, 87 deletions

diff --git a/repo/testdata/repo_8k/00000/chunks/000000000000008 b/repo/testdata/repo_8k/00000/chunks/000000000000008
deleted file mode 100644
index 5995b3c..0000000
--- a/repo/testdata/repo_8k/00000/chunks/000000000000008
+++ /dev/null
@@ -1,87 +0,0 @@
-to save entry number 0: incorrect data (ParallelLoaderRunnable.java:287)
-2019-06-05T22:41 [INFO] Parsing terminé !! temps écoulé = 1.09 s (ParallelLoader.java:217)
-2019-06-05T22:41 [INFO] PARSE : Nombre de lignes (local) = 100000 (ParallelLoader.java:218)
-2019-06-05T22:41 [INFO] Parsing de csvName = testdata/SMALL_100_000_yellow_tripdata_2015-04.csv (ParallelLoaderTest.java:64)
-2019-06-05T22:41 [INFO] PARSE : memusage init =  (ParallelLoader.java:112)
-2019-06-05T22:41 [INFO][MEMORY] 415,931 (ParallelLoader.java:114)
-2019-06-05T22:41 [INFO] Loader : nombre de résultats (total) lus = 400000   temps écoulé = 0.070 sactiveThreadNb = 0 (ParallelLoader.java:150)
-2019-06-05T22:41 [ERROR] debugCount = 0 (ParallelLoader.java:203)
-2019-06-05T22:41 [WARNING] Fail to save entry number 0: incorrect data (ParallelLoaderRunnable.java:287)
-2019-06-05T22:41 [INFO] Parsing terminé !! temps écoulé = 0.968 s (ParallelLoader.java:217)
-2019-06-05T22:41 [INFO] PARSE : Nombre de lignes (local) = 100000 (ParallelLoader.java:218)
-2019-06-05T22:41 [INFO][MEMORY] Mem usage  fin -  189,494 (ParallelLoaderTest.java:113)
-2019-06-05T22:41 [INFO][TIMER] TEMPS TOTAL PRIS PAR TOUS LES PARSINGS: 2.17 s (ParallelLoaderTest.java:114)
-2019-06-05T23:02 [INFO] Parsing de csvName = testdata/SMALL_100_000_yellow_tripdata_2015-04.csv (IndexMemDicStorageTests.java:180)
-2019-06-05T23:02 [INFO] PARSE : memusage init =  (ParallelLoader.java:112)
-2019-06-05T23:02 [INFO][MEMORY] 12,404 (ParallelLoader.java:114)
-2019-06-05T23:02 [INFO] Loader : nombre de résultats (total) lus = 100000   temps écoulé = 0.154 sactiveThreadNb = 0 (ParallelLoader.java:150)
-2019-06-05T23:02 [WARNING] Fail to save entry number 0: incorrect data (ParallelLoaderRunnable.java:287)
-2019-06-05T23:02 [INFO] Parsing terminé !! temps écoulé = 1.61 s (ParallelLoader.java:217)
-2019-06-05T23:02 [INFO] PARSE : Nombre de lignes (local) = 100000 (ParallelLoader.java:218)
-2019-06-05T23:02 [INFO][TIMER] TEMPS TOTAL PRIS PAR TOUS LES PARSINGS: 1.62 s (IndexMemDicStorageTests.java:183)
-2019-06-05T23:02 [INFO] totalLength = 99999 (IndexMemDic.java:217)
-2019-06-05T23:02 [INFO][TIMER] Temps pris pour classer la 1ère fois: 0.266 s (IndexMemDicStorageTests.java:83)
-2019-06-05T23:02 [INFO] totalLength = 99999 (IndexMemDic.java:217)
-2019-06-05T23:02 [INFO][TIMER] Temps pris pour classer la 2ème fois: 0.188 s (IndexMemDicStorageTests.java:86)
-2019-06-05T23:02 [INFO] Recherche A OK ! Nb résultats selon A : 263 (IndexMemDicStorageTests.java:108)
-2019-06-05T23:02 [INFO] Recherche B OK ! Nb résultats selon B : 263 (IndexMemDicStorageTests.java:111)
-2019-06-05T23:02 [INFO] Recherche C OK ! Nb résultats selon C : 263 (IndexMemDicStorageTests.java:114)
-2019-06-05T23:02 [INFO] resultsPositionsArray.length = 263 (IndexMemDicStorageTests.java:117)
-2019-06-05T23:02 [INFO] Parsing de csvName = testdata/SMALL_100_000_yellow_tripdata_2015-04.csv (NewLoaderAndIndexTest.java:170)
-2019-06-05T23:02 [INFO] PARSE : memusage init =  (ParallelLoader.java:112)
-2019-06-05T23:02 [INFO][MEMORY] 103,147 (ParallelLoader.java:114)
-2019-06-05T23:02 [INFO] Loader : nombre de résultats (total) lus = 200000   temps écoulé = 0.174 sactiveThreadNb = 0 (ParallelLoader.java:150)
-2019-06-05T23:02 [WARNING] Fail to save entry number 0: incorrect data (ParallelLoaderRunnable.java:287)
-2019-06-05T23:02 [INFO] Parsing terminé !! temps écoulé = 1.01 s (ParallelLoader.java:217)
-2019-06-05T23:02 [INFO] PARSE : Nombre de lignes (local) = 100000 (ParallelLoader.java:218)
-2019-06-05T23:02 [INFO][TIMER] TEMPS TOTAL PRIS PAR TOUS LES PARSINGS: 1.02 s (NewLoaderAndIndexTest.java:189)
-2019-06-05T23:02 [INFO] Bon nombre total de lignes ! nombre = 99999 (NewLoaderAndIndexTest.java:193)
-2019-06-05T23:02 [INFO] totalLength = 99999 (IndexMemDic.java:217)
-2019-06-05T23:02 [INFO] Recherche A OK ! Nb résultats selon A : 263 (NewLoaderAndIndexTest.java:71)
-2019-06-05T23:02 [INFO] Recherche B OK ! Nb résultats selon B : 263 (NewLoaderAndIndexTest.java:74)
-2019-06-05T23:02 [INFO] Recherche C OK ! Nb résultats selon C : 263 (NewLoaderAndIndexTest.java:77)
-2019-06-05T23:02 [INFO] resultsPositionsArray.length = 263 (NewLoaderAndIndexTest.java:80)
-2019-06-05T23:02 [INFO] Recherche FLAG OK ! Nb résultats avec FLAG : 175  index len = 99999 (NewLoaderAndIndexTest.java:101)
-2019-06-05T23:02 [INFO] totalLength = 66666 (IndexMemDic.java:217)
-2019-06-05T23:02 [INFO] Recherche STRUCT OK ! Nb résultats avec restructuration : 175  index len = 99999 (NewLoaderAndIndexTest.java:109)
-2019-06-05T23:02 [INFO] setUpBeforeAll (IndexTreeMessyTest.java:73)
-2019-06-05T23:02 [INFO] Nombre de résultats/entrées parsés INIT : 0 (IndexTreeMessyTest.java:186)
-2019-06-05T23:02 [WARNING] Fail to save entry number 0: incorrect data (Loader.java:107)
-2019-06-05T23:02 [INFO] Loader : nombre de résultats (local) parsés = 0   temps écoulé = 0.57 millis (Loader.java:116)
-2019-06-05T23:02 [INFO][MEMORY] 223,892 (Loader.java:117)
-2019-06-05T23:02 [WARNING] Fail to save entry number 0: incorrect data (Loader.java:107)
-2019-06-05T23:02 [WARNING] Fail to save entry number 0: incorrect data (Loader.java:107)
-2019-06-05T23:02 [INFO] Loader : nombre de résultats (local) parsés = 0   temps écoulé = 2.56 millis (Loader.java:116)
-2019-06-05T23:02 [WARNING] Fail to save entry number 0: incorrect data (Loader.java:107)
-2019-06-05T23:02 [INFO] Loader : nombre de résultats (local) parsés = 0   temps écoulé = 2.00 millis (Loader.java:116)
-2019-06-05T23:02 [INFO] Loader : nombre de résultats (local) parsés = 0   temps écoulé = 4.58 millis (Loader.java:116)
-2019-06-05T23:02 [INFO][MEMORY] 200,186 (Loader.java:117)
-2019-06-05T23:02 [INFO][MEMORY] 200,186 (Loader.java:117)
-2019-06-05T23:02 [INFO][MEMORY] 200,186 (Loader.java:117)
-2019-06-05T23:02 [INFO] PARSE : FINAL USAGE (Loader.java:136)
-2019-06-05T23:02 [INFO][MEMORY] 155,525 (Loader.java:138)
-2019-06-05T23:02 [INFO] PARSE : FINAL USAGE (Loader.java:136)
-2019-06-05T23:02 [INFO][MEMORY] 155,474 (Loader.java:138)
-2019-06-05T23:02 [INFO] PARSE : FINAL USAGE (Loader.java:136)
-2019-06-05T23:02 [INFO][MEMORY] 156,042 (Loader.java:138)
-2019-06-05T23:02 [INFO] PARSE : FINAL USAGE (Loader.java:136)
-2019-06-05T23:02 [INFO][MEMORY] 155,626 (Loader.java:138)
-2019-06-05T23:02 [INFO][TIMER] TEMPS TOTAL pris par le parsing: 6.03 s (IndexTreeMessyTest.java:314)
-2019-06-05T23:02 [INFO] setUpBeforeAll OK (IndexTreeMessyTest.java:322)
-2019-06-05T23:02 [DEBUG] TableHandler.flushAllIndexOnDisk : size = 15 (Table.java:334)
-2019-06-05T23:02 [INFO][MEMORY] IndexTreeDic.flushOnDisk 156,650 (IndexTreeDic.java:517)
-2019-06-05T23:02 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@659a969b (Table.java:338)
-2019-06-05T23:02 [INFO][MEMORY] IndexTreeDic.flushOnDisk 157,038 (IndexTreeDic.java:517)
-2019-06-05T23:02 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@76908cc0 (Table.java:338)
-2019-06-05T23:02 [INFO][MEMORY] IndexTreeDic.flushOnDisk 157,414 (IndexTreeDic.java:517)
-2019-06-05T23:02 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@2473d930 (Table.java:338)
-2019-06-05T23:02 [INFO][MEMORY] IndexTreeDic.flushOnDisk 157,414 (IndexTreeDic.java:517)
-2019-06-05T23:02 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@35047d03 (Table.java:338)
-2019-06-05T23:02 [INFO][MEMORY] IndexTreeDic.flushOnDisk 157,464 (IndexTreeDic.java:517)
-2019-06-05T23:02 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@49b0b76 (Table.java:338)
-2019-06-05T23:02 [INFO][MEMORY] IndexTreeDic.flushOnDisk 157,674 (IndexTreeDic.java:517)
-2019-06-05T23:02 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@769f71a9 (Table.java:338)
-2019-06-05T23:02 [INFO][MEMORY] IndexTreeDic.flushOnDisk 157,674 (IndexTreeDic.java:517)
-2019-06-05T23:02 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@4c9f8c13 (Table.java:338)
-2019-06-05T23:02 [INFO][MEMORY] IndexTreeDic.flushOnDisk 158,194 (IndexTreeDic.java:517)
-2019-06-05T23:02 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTree
\ No newline at end of file