diff options
21 files changed, 54 insertions, 1247 deletions
diff --git a/repo/repo.go b/repo/repo.go index 97d0b5c..ab96dbe 100644 --- a/repo/repo.go +++ b/repo/repo.go @@ -43,7 +43,6 @@ import ( "github.com/n-peugnet/dna-backup/delta" "github.com/n-peugnet/dna-backup/logger" "github.com/n-peugnet/dna-backup/sketch" - "github.com/n-peugnet/dna-backup/slice" "github.com/n-peugnet/dna-backup/utils" ) @@ -335,40 +334,33 @@ func concatFiles(files *[]File, stream io.WriteCloser) { *files = actual } -func storeBasicStruct(dest string, wrapper utils.WriteWrapper, obj interface{}) { - file, err := os.Create(dest) - if err != nil { - logger.Panic(err) - } - out := wrapper(file) - encoder := gob.NewEncoder(out) - err = encoder.Encode(obj) - if err != nil { +func storeDelta(prev interface{}, curr interface{}, dest string, differ delta.Differ, wrapper utils.WriteWrapper) { + var prevBytes, currBytes, deltaBytes bytes.Buffer + var encoder *gob.Encoder + var err error + + encoder = gob.NewEncoder(&prevBytes) + if err = encoder.Encode(prev); err != nil { logger.Panic(err) } - if err = out.Close(); err != nil { + encoder = gob.NewEncoder(&currBytes) + if err = encoder.Encode(curr); err != nil { logger.Panic(err) } - if err = file.Close(); err != nil { + if err = differ.Diff(&prevBytes, &currBytes, &deltaBytes); err != nil { logger.Panic(err) } -} -func loadBasicStruct(path string, wrapper utils.ReadWrapper, obj interface{}) { - file, err := os.Open(path) - if err != nil { - logger.Panic(err) - } - in, err := wrapper(file) + file, err := os.Create(dest) if err != nil { logger.Panic(err) } - decoder := gob.NewDecoder(in) - err = decoder.Decode(obj) + out := wrapper(file) + n, err := io.Copy(out, &deltaBytes) if err != nil { - logger.Panic(err) + logger.Panic(n, err) } - if err = in.Close(); err != nil { + if err = out.Close(); err != nil { logger.Panic(err) } if err = file.Close(); err != nil { @@ -376,48 +368,53 @@ func loadBasicStruct(path string, wrapper utils.ReadWrapper, obj interface{}) { } } -func (r *Repo) loadDeltas(versions []string, wrapper utils.ReadWrapper, name string) (ret slice.Slice) { - for _, v := range versions { - path := filepath.Join(v, name) - var delta slice.Delta - loadBasicStruct(path, wrapper, &delta) - ret = slice.Patch(ret, delta) - } - return -} +func loadDeltas(target interface{}, versions []string, patcher delta.Patcher, wrapper utils.ReadWrapper, name string) { + var prev bytes.Buffer + var encoder *gob.Encoder + var err error -func fileList2slice(l []File) (ret slice.Slice) { - ret = make(slice.Slice, len(l)) - for i := range l { - ret[i] = l[i] + encoder = gob.NewEncoder(&prev) + if err = encoder.Encode(target); err != nil { + logger.Panic(err) } - return -} -func slice2fileList(s slice.Slice) (ret []File) { - ret = make([]File, len(s)) - for i := range s { - if f, ok := s[i].(File); ok { - ret[i] = f - } else { - logger.Warningf("could not convert %s into a File", s[i]) + for _, v := range versions { + var curr bytes.Buffer + path := filepath.Join(v, name) + file, err := os.Open(path) + if err != nil { + logger.Panic(err) + } + in, err := wrapper(file) + if err != nil { + logger.Panic(err) + } + if err = patcher.Patch(&prev, &curr, in); err != nil { + logger.Panic(err) + } + prev = curr + if err = in.Close(); err != nil { + logger.Panic(err) } } - return + decoder := gob.NewDecoder(&prev) + if err = decoder.Decode(target); err != nil { + logger.Panic(err) + } } // storeFileList stores the given list in the repo dir as a delta against the // previous version's one. func (r *Repo) storeFileList(version int, list []File) { dest := filepath.Join(r.path, fmt.Sprintf(versionFmt, version), filesName) - delta := slice.Diff(fileList2slice(r.files), fileList2slice(list)) - logger.Infof("files delta %s", delta.String()) - storeBasicStruct(dest, r.chunkWriteWrapper, delta) + storeDelta(r.files, list, dest, r.differ, r.chunkWriteWrapper) } // loadFileLists loads incrementally the file lists' delta of each given version. func (r *Repo) loadFileLists(versions []string) { - r.files = slice2fileList(r.loadDeltas(versions, r.chunkReadWrapper, filesName)) + var files []File + loadDeltas(&files, versions, r.patcher, r.chunkReadWrapper, filesName) + r.files = files } // storageWorker is meant to be started in a goroutine and stores each new chunk's @@ -736,35 +733,14 @@ func (r *Repo) restoreStream(stream io.WriteCloser, recipe []Chunk) { stream.Close() } -func recipe2slice(r []Chunk) (ret slice.Slice) { - ret = make(slice.Slice, len(r)) - for i := range r { - ret[i] = r[i] - } - return -} - -func slice2recipe(s slice.Slice) (ret []Chunk) { - ret = make([]Chunk, len(s)) - for i := range s { - if c, ok := s[i].(Chunk); ok { - ret[i] = c - } else { - logger.Warningf("could not convert %s into a Chunk", s[i]) - } - } - return -} - func (r *Repo) storeRecipe(version int, recipe []Chunk) { dest := filepath.Join(r.path, fmt.Sprintf(versionFmt, version), recipeName) - delta := slice.Diff(recipe2slice(r.recipe), recipe2slice(recipe)) - logger.Infof("recipe delta %s", delta.String()) - storeBasicStruct(dest, r.chunkWriteWrapper, delta) + storeDelta(r.recipe, recipe, dest, r.differ, r.chunkWriteWrapper) } func (r *Repo) loadRecipes(versions []string) { - recipe := slice2recipe(r.loadDeltas(versions, r.chunkReadWrapper, recipeName)) + var recipe []Chunk + loadDeltas(&recipe, versions, r.patcher, r.chunkReadWrapper, recipeName) for _, c := range recipe { if rc, isRepo := c.(RepoChunk); isRepo { rc.SetRepo(r) diff --git a/repo/repo_test.go b/repo/repo_test.go index 0d26ccd..36cc1bd 100644 --- a/repo/repo_test.go +++ b/repo/repo_test.go @@ -337,27 +337,13 @@ func TestBsdiff(t *testing.T) { } } -func TestCommit(t *testing.T) { - dest := t.TempDir() - source := filepath.Join("testdata", "logs") - expected := filepath.Join("testdata", "repo_8k") - repo := NewRepo(dest) - repo.patcher = delta.Bsdiff{} - repo.differ = delta.Bsdiff{} - repo.chunkReadWrapper = utils.NopReadWrapper - repo.chunkWriteWrapper = utils.NopWriteWrapper - - repo.Commit(source) - assertSameTree(t, assertCompatibleRepoFile, expected, dest, "Commit") -} - func TestCommitZlib(t *testing.T) { dest := t.TempDir() source := filepath.Join("testdata", "logs") expected := filepath.Join("testdata", "repo_8k_zlib") repo := NewRepo(dest) - repo.patcher = delta.Bsdiff{} - repo.differ = delta.Bsdiff{} + repo.patcher = delta.Fdelta{} + repo.differ = delta.Fdelta{} repo.chunkReadWrapper = utils.ZlibReader repo.chunkWriteWrapper = utils.ZlibWriter @@ -365,22 +351,6 @@ func TestCommitZlib(t *testing.T) { assertSameTree(t, assertCompatibleRepoFile, expected, dest, "Commit") } -func TestRestore(t *testing.T) { - logger.SetLevel(2) - defer logger.SetLevel(4) - dest := t.TempDir() - source := filepath.Join("testdata", "repo_8k") - expected := filepath.Join("testdata", "logs") - repo := NewRepo(source) - repo.patcher = delta.Bsdiff{} - repo.differ = delta.Bsdiff{} - repo.chunkReadWrapper = utils.NopReadWrapper - repo.chunkWriteWrapper = utils.NopWriteWrapper - - repo.Restore(dest) - assertSameTree(t, testutils.AssertSameFile, expected, dest, "Restore") -} - func TestRestoreZlib(t *testing.T) { logger.SetLevel(2) defer logger.SetLevel(4) @@ -388,8 +358,8 @@ func TestRestoreZlib(t *testing.T) { source := filepath.Join("testdata", "repo_8k_zlib") expected := filepath.Join("testdata", "logs") repo := NewRepo(source) - repo.patcher = delta.Bsdiff{} - repo.differ = delta.Bsdiff{} + repo.patcher = delta.Fdelta{} + repo.differ = delta.Fdelta{} repo.chunkReadWrapper = utils.ZlibReader repo.chunkWriteWrapper = utils.ZlibWriter diff --git a/repo/testdata/repo_8k/00000/chunks/000000000000000 b/repo/testdata/repo_8k/00000/chunks/000000000000000 deleted file mode 100644 index ac78620..0000000 --- a/repo/testdata/repo_8k/00000/chunks/000000000000000 +++ /dev/null @@ -1,85 +0,0 @@ -2019-06-05T20:13 [INFO] testInfoString (LogTest.java:52) -2019-06-05T20:13 [INFO][YO] testInfoString (LogTest.java:57) -2019-06-05T20:13 [INFO] testInfoString (LogTest.java:52) -2019-06-05T20:13 [INFO][YO] testInfoString (LogTest.java:57) -2019-06-05T20:51 [INFO] testInfoString (LogTest.java:52) -2019-06-05T20:51 [INFO][YO] testInfoString (LogTest.java:57) -2019-06-05T22:41 [INFO] testInfoString (LogTest.java:52) -2019-06-05T22:41 [INFO][YO] testInfoString (LogTest.java:57) -2019-06-05T23:02 [INFO] testInfoString (LogTest.java:52) -2019-06-05T23:02 [INFO][YO] testInfoString (LogTest.java:57) -2019-06-05T20:13 [WARNING] Fail to save entry number 0: incorrect data (Loader.java:107) -2019-06-05T20:13 [INFO] Loader : nombre de résultats (local) parsés = 0 temps écoulé = 0.52 millis (Loader.java:116) -2019-06-05T20:13 [INFO][MEMORY] 160,128 (Loader.java:117) -2019-06-05T20:13 [INFO] PARSE : FINAL USAGE (Loader.java:136) -2019-06-05T20:13 [INFO][MEMORY] 231,367 (Loader.java:138) -2019-06-05T20:13 [INFO][TIMER] Temps pris par le parsing: 0.898 s (LoaderTest.java:69) -2019-06-05T20:13 [DEBUG][line][70] [2, Thu Apr 09 19:29:33 CEST 2015, Thu Apr 09 19:37:09 CEST 2015, 1, 0.83, -73.98651885986328, 40.76189422607422, 1, N, -73.97399139404297, 40.760414123535156, 1, 6.5, 1.0, 0.5, 1.66, 0.0, 0.3, 9.96] (LoaderTest.java:97) -2019-06-05T20:14 [WARNING] Fail to save entry number 0: incorrect data (Loader.java:107) -2019-06-05T20:14 [INFO] Loader : nombre de résultats (local) parsés = 0 temps écoulé = 0.46 millis (Loader.java:116) -2019-06-05T20:14 [INFO][MEMORY] 267,348 (Loader.java:117) -2019-06-05T20:14 [INFO] PARSE : FINAL USAGE (Loader.java:136) -2019-06-05T20:14 [INFO][MEMORY] 231,359 (Loader.java:138) -2019-06-05T20:14 [INFO][TIMER] Temps pris par le parsing: 0.839 s (LoaderTest.java:69) -2019-06-05T20:14 [DEBUG][line][70] [2, Thu Apr 09 19:29:33 CEST 2015, Thu Apr 09 19:37:09 CEST 2015, 1, 0.83, -73.98651885986328, 40.76189422607422, 1, N, -73.97399139404297, 40.760414123535156, 1, 6.5, 1.0, 0.5, 1.66, 0.0, 0.3, 9.96] (LoaderTest.java:97) -2019-06-05T20:51 [WARNING] Fail to save entry number 0: incorrect data (Loader.java:107) -2019-06-05T20:51 [INFO] Loader : nombre de résultats (local) parsés = 0 temps écoulé = 2.61 millis (Loader.java:116) -2019-06-05T20:51 [INFO][MEMORY] 189,561 (Loader.java:117) -2019-06-05T20:51 [INFO] PARSE : FINAL USAGE (Loader.java:136) -2019-06-05T20:51 [INFO][MEMORY] 168,686 (Loader.java:138) -2019-06-05T20:51 [INFO][TIMER] Temps pris par le parsing: 0.930 s (LoaderTest.java:69) -2019-06-05T20:51 [DEBUG][line][70] [2, Thu Apr 09 19:29:33 CEST 2015, Thu Apr 09 19:37:09 CEST 2015, 1, 0.83, -73.98651885986328, 40.76189422607422, 1, N, -73.97399139404297, 40.760414123535156, 1, 6.5, 1.0, 0.5, 1.66, 0.0, 0.3, 9.96] (LoaderTest.java:97) -2019-06-05T22:41 [WARNING] Fail to save entry number 0: incorrect data (Loader.java:107) -2019-06-05T22:41 [INFO] Loader : nombre de résultats (local) parsés = 0 temps écoulé = 1.83 millis (Loader.java:116) -2019-06-05T22:41 [INFO][MEMORY] 189,494 (Loader.java:117) -2019-06-05T22:41 [INFO] PARSE : FINAL USAGE (Loader.java:136) -2019-06-05T22:41 [INFO][MEMORY] 168,619 (Loader.java:138) -2019-06-05T22:41 [INFO][TIMER] Temps pris par le parsing: 0.882 s (LoaderTest.java:69) -2019-06-05T22:41 [DEBUG][line][70] [2, Thu Apr 09 19:29:33 CEST 2015, Thu Apr 09 19:37:09 CEST 2015, 1, 0.83, -73.98651885986328, 40.76189422607422, 1, N, -73.97399139404297, 40.760414123535156, 1, 6.5, 1.0, 0.5, 1.66, 0.0, 0.3, 9.96] (LoaderTest.java:97) -2019-06-05T23:02 [WARNING] Fail to save entry number 0: incorrect data (Loader.java:107) -2019-06-05T23:02 [INFO] Loader : nombre de résultats (local) parsés = 0 temps écoulé = 0.54 millis (Loader.java:116) -2019-06-05T23:02 [INFO][MEMORY] 189,551 (Loader.java:117) -2019-06-05T23:02 [INFO] PARSE : FINAL USAGE (Loader.java:136) -2019-06-05T23:02 [INFO][MEMORY] 168,676 (Loader.java:138) -2019-06-05T23:02 [INFO][TIMER] Temps pris par le parsing: 1.04 s (LoaderTest.java:69) -2019-06-05T23:02 [DEBUG][line][70] [2, Thu Apr 09 19:29:33 CEST 2015, Thu Apr 09 19:37:09 CEST 2015, 1, 0.83, -73.98651885986328, 40.76189422607422, 1, N, -73.97399139404297, 40.760414123535156, 1, 6.5, 1.0, 0.5, 1.66, 0.0, 0.3, 9.96] (LoaderTest.java:97) -2019-06-10T20:34 [WARNING] Fail to save entry number 0: incorrect data (Loader.java:107) -2019-06-10T20:34 [INFO] Loader : nombre de résultats (local) parsés = 0 temps écoulé = 4.82 millis (Loader.java:116) -2019-06-10T20:34 [INFO][MEMORY] 82,958 (Loader.java:117) -2019-06-10T20:34 [INFO] PARSE : FINAL USAGE (Loader.java:136) -2019-06-10T20:34 [INFO][MEMORY] 163,350 (Loader.java:138) -2019-06-10T20:34 [INFO][TIMER] Temps pris par le parsing: 0.938 s (LoaderTest.java:69) -2019-06-10T20:34 [DEBUG][line][70] [2, Thu Apr 09 19:29:33 CEST 2015, Thu Apr 09 19:37:09 CEST 2015, 1, 0.83, -73.98651885986328, 40.76189422607422, 1, N, -73.97399139404297, 40.760414123535156, 1, 6.5, 1.0, 0.5, 1.66, 0.0, 0.3, 9.96] (LoaderTest.java:97) -2019-06-10T20:50 [WARNING] Fail to save entry number 0: incorrect data (Loader.java:107) -2019-06-10T20:50 [INFO] Loader : nombre de résultats (local) parsés = 0 temps écoulé = 0.56 millis (Loader.java:116) -2019-06-10T20:50 [INFO][MEMORY] 82,957 (Loader.java:117) -2019-06-10T20:50 [INFO] PARSE : FINAL USAGE (Loader.java:136) -2019-06-10T20:50 [INFO][MEMORY] 163,349 (Loader.java:138) -2019-06-10T20:50 [INFO][TIMER] Temps pris par le parsing: 0.853 s (LoaderTest.java:69) -2019-06-10T20:50 [DEBUG][line][70] [2, Thu Apr 09 19:29:33 CEST 2015, Thu Apr 09 19:37:09 CEST 2015, 1, 0.83, -73.98651885986328, 40.76189422607422, 1, N, -73.97399139404297, 40.760414123535156, 1, 6.5, 1.0, 0.5, 1.66, 0.0, 0.3, 9.96] (LoaderTest.java:97) -2019-06-10T20:51 [WARNING] Fail to save entry number 0: incorrect data (Loader.java:107) -2019-06-10T20:51 [INFO] Loader : nombre de résultats (local) parsés = 0 temps écoulé = 0.51 millis (Loader.java:116) -2019-06-10T20:51 [INFO][MEMORY] 189,538 (Loader.java:117) -2019-06-10T20:51 [INFO] PARSE : FINAL USAGE (Loader.java:136) -2019-06-10T20:51 [INFO][MEMORY] 168,663 (Loader.java:138) -2019-06-10T20:51 [INFO][TIMER] Temps pris par le parsing: 1.27 s (LoaderTest.java:69) -2019-06-10T20:51 [DEBUG][line][70] [2, Thu Apr 09 19:29:33 CEST 2015, Thu Apr 09 19:37:09 CEST 2015, 1, 0.83, -73.98651885986328, 40.76189422607422, 1, N, -73.97399139404297, 40.760414123535156, 1, 6.5, 1.0, 0.5, 1.66, 0.0, 0.3, 9.96] (LoaderTest.java:97) -2019-06-10T21:24 [WARNING] Fail to save entry number 0: incorrect data (Loader.java:107) -2019-06-10T21:24 [INFO] Loader : nombre de résultats (local) parsés = 0 temps écoulé = 0.58 millis (Loader.java:116) -2019-06-10T21:24 [INFO][MEMORY] 189,539 (Loader.java:117) -2019-06-10T21:24 [INFO] PARSE : FINAL USAGE (Loader.java:136) -2019-06-10T21:24 [INFO][MEMORY] 168,664 (Loader.java:138) -2019-06-10T21:24 [INFO][TIMER] Temps pris par le parsing: 1.86 s (LoaderTest.java:69) -2019-06-10T21:24 [DEBUG][line][70] [2, Thu Apr 09 19:29:33 CEST 2015, Thu Apr 09 19:37:09 CEST 2015, 1, 0.83, -73.98651885986328, 40.76189422607422, 1, N, -73.97399139404297, 40.760414123535156, 1, 6.5, 1.0, 0.5, 1.66, 0.0, 0.3, 9.96] (LoaderTest.java:97) -2019-06-05T14:47 [INFO] SerialStructure.loadStructure : OK ! (SerialStructure.java:71) -2019-06-05T14:49 [INFO] PARSE : memusage init = (ParallelLoader.java:112) -2019-06-05T14:49 [INFO][MEMORY] 229,457 (ParallelLoader.java:114) -2019-06-05T14:49 [INFO] Loader : nombre de résultats (total) lus = 100000 temps écoulé = 0.522 sactiveThreadNb = 0 (ParallelLoader.java:150) -2019-06-05T14:49 [ERROR] debugCount = 0 (ParallelLoader.java:203) -2019-06-05T14:49 [WARNING] Fail to save entry number 0: incorrect data (ParallelLoaderRunnable.java:287) -2019-06-05T14:49 [INFO] Parsing terminé !! temps écoulé = 2.78 s (ParallelLoader.java:217) -2019-06-05T14:49 [INFO] PARSE : Nombre de lignes (local) = 100000 (ParallelLoader.java:218) -2019-06-05T14:53 [INFO] SerialStructure.loadStructure : OK ! (SerialStructure.java:71) -2019-06-05T14:53 [INFO] PARSE : memusage init = (ParallelLoader.java:112) -2019-06-05T14:53 [INFO][MEMORY] 227,095 (ParallelLoader.java:114) -2019-06-05T14:53 [INFO] Loader : nombre de résulta
\ No newline at end of file diff --git a/repo/testdata/repo_8k/00000/chunks/000000000000001 b/repo/testdata/repo_8k/00000/chunks/000000000000001 deleted file mode 100644 index 3e728e2..0000000 --- a/repo/testdata/repo_8k/00000/chunks/000000000000001 +++ /dev/null @@ -1,89 +0,0 @@ -ts (total) lus = 100000 temps écoulé = 0.433 sactiveThreadNb = 0 (ParallelLoader.java:150) -2019-06-05T14:53 [ERROR] debugCount = 0 (ParallelLoader.java:203) -2019-06-05T14:53 [WARNING] Fail to save entry number 0: incorrect data (ParallelLoaderRunnable.java:287) -2019-06-05T14:53 [INFO] Parsing terminé !! temps écoulé = 2.37 s (ParallelLoader.java:217) -2019-06-05T14:53 [INFO] PARSE : Nombre de lignes (local) = 100000 (ParallelLoader.java:218) -2019-06-05T14:54 [ERROR] dicStartIndex trop grand (IndexMemDic.java:461) -2019-06-05T14:59 [ERROR] dicStartIndex trop grand (IndexMemDic.java:461) -2019-06-05T14:59 [ERROR] dicStartIndex trop grand (IndexMemDic.java:461) -2019-06-05T15:08 [WARNING] value can't be parsed in selected column : vendor_id 1.0 (FilterTermEntity.java:35) -2019-06-05T15:09 [WARNING] value can't be parsed in selected column : vendor_id 1.0 (FilterTermEntity.java:35) -2019-06-05T15:09 [ERROR] delta != 0 1 dicCurrentIndex=0 realLinePos=0 (IndexMemDic.java:477) -2019-06-05T15:09 [WARNING] value can't be parsed in selected column : vendor_id 1.0 (FilterTermEntity.java:35) -2019-06-05T15:09 [ERROR] delta != 0 1 dicCurrentIndex=0 realLinePos=0 (IndexMemDic.java:477) -2019-06-05T15:10 [WARNING] value can't be parsed in selected column : vendor_id 1.0 (FilterTermEntity.java:35) -2019-06-05T15:10 [ERROR] delta != 0 1 dicCurrentIndex=0 realLinePos=0 (IndexMemDic.java:477) -2019-06-05T15:12 [INFO] SerialStructure.loadStructure : OK ! (SerialStructure.java:71) -2019-06-05T15:12 [INFO] PARSE : memusage init = (ParallelLoader.java:112) -2019-06-05T15:12 [INFO][MEMORY] 178,759 (ParallelLoader.java:114) -2019-06-05T15:12 [INFO] Loader : nombre de résultats (total) lus = 100000 temps écoulé = 0.220 sactiveThreadNb = 0 (ParallelLoader.java:150) -2019-06-05T15:12 [ERROR] debugCount = 0 (ParallelLoader.java:203) -2019-06-05T15:12 [WARNING] Fail to save entry number 0: incorrect data (ParallelLoaderRunnable.java:287) -2019-06-05T15:12 [INFO] Parsing terminé !! temps écoulé = 2.25 s (ParallelLoader.java:217) -2019-06-05T15:12 [INFO] PARSE : Nombre de lignes (local) = 100000 (ParallelLoader.java:218) -2019-06-05T15:13 [WARNING] value can't be parsed in selected column : vendor_id 1.0 (FilterTermEntity.java:35) -2019-06-05T15:14 [DEBUG] TableHandler.flushAllIndexOnDisk : size = 0 (Table.java:328) -2019-06-05T15:14 [INFO] SerialStructure.writeStructure : OK ! (SerialStructure.java:54) -2019-06-05T15:14 [DEBUG] TableHandler.flushAllIndexOnDisk : size = 0 (Table.java:328) -2019-06-05T15:14 [INFO] SerialStructure.writeStructure : OK ! (SerialStructure.java:54) -2019-06-05T15:14 [INFO] PARSE : memusage init = (ParallelLoader.java:112) -2019-06-05T15:14 [INFO][MEMORY] 308,168 (ParallelLoader.java:114) -2019-06-05T15:14 [INFO] Loader : nombre de résultats (total) lus = 200000 temps écoulé = 0.052 sactiveThreadNb = 0 (ParallelLoader.java:150) -2019-06-05T15:14 [ERROR] debugCount = 0 (ParallelLoader.java:203) -2019-06-05T15:14 [WARNING] Fail to save entry number 0: incorrect data (ParallelLoaderRunnable.java:287) -2019-06-05T15:14 [INFO] Parsing terminé !! temps écoulé = 1.32 s (ParallelLoader.java:217) -2019-06-05T15:14 [INFO] PARSE : Nombre de lignes (local) = 100000 (ParallelLoader.java:218) -2019-06-05T15:14 [WARNING] value can't be parsed in selected column : vendor_id 1.0 (FilterTermEntity.java:35) -2019-06-05T15:15 [ERROR] delta != 0 1 dicCurrentIndex=0 realLinePos=0 (IndexMemDic.java:477) -2019-06-05T15:15 [WARNING] value can't be parsed in selected column : vendor_id 1.0 (FilterTermEntity.java:35) -2019-06-05T15:17 [INFO] SerialStructure.loadStructure : OK ! (SerialStructure.java:71) -2019-06-05T15:26 [INFO] SerialStructure.loadStructure : OK ! (SerialStructure.java:71) -2019-06-05T15:27 [INFO] PARSE : memusage init = (ParallelLoader.java:112) -2019-06-05T15:27 [INFO][MEMORY] 179,237 (ParallelLoader.java:114) -2019-06-05T15:27 [INFO] Loader : nombre de résultats (total) lus = 100000 temps écoulé = 0.098 sactiveThreadNb = 0 (ParallelLoader.java:150) -2019-06-05T15:27 [ERROR] debugCount = 0 (ParallelLoader.java:203) -2019-06-05T15:27 [WARNING] Fail to save entry number 0: incorrect data (ParallelLoaderRunnable.java:287) -2019-06-05T15:27 [INFO] Parsing terminé !! temps écoulé = 2.22 s (ParallelLoader.java:217) -2019-06-05T15:27 [INFO] PARSE : Nombre de lignes (local) = 100000 (ParallelLoader.java:218) -2019-06-05T15:31 [INFO] SerialStructure.loadStructure : OK ! (SerialStructure.java:71) -2019-06-05T15:31 [INFO] PARSE : memusage init = (ParallelLoader.java:112) -2019-06-05T15:31 [INFO][MEMORY] 178,254 (ParallelLoader.java:114) -2019-06-05T15:31 [INFO] Loader : nombre de résultats (total) lus = 100000 temps écoulé = 0.118 sactiveThreadNb = 0 (ParallelLoader.java:150) -2019-06-05T15:31 [ERROR] debugCount = 0 (ParallelLoader.java:203) -2019-06-05T15:31 [WARNING] Fail to save entry number 0: incorrect data (ParallelLoaderRunnable.java:287) -2019-06-05T15:31 [INFO] Parsing terminé !! temps écoulé = 2.11 s (ParallelLoader.java:217) -2019-06-05T15:31 [INFO] PARSE : Nombre de lignes (local) = 100000 (ParallelLoader.java:218) -2019-06-05T15:41 [INFO] SerialStructure.loadStructure : OK ! (SerialStructure.java:71) -2019-06-05T15:41 [INFO] PARSE : memusage init = (ParallelLoader.java:112) -2019-06-05T15:41 [INFO][MEMORY] 180,287 (ParallelLoader.java:114) -2019-06-05T15:41 [INFO] Loader : nombre de résultats (total) lus = 100000 temps écoulé = 0.195 sactiveThreadNb = 0 (ParallelLoader.java:150) -2019-06-05T15:41 [ERROR] debugCount = 0 (ParallelLoader.java:203) -2019-06-05T15:41 [WARNING] Fail to save entry number 0: incorrect data (ParallelLoaderRunnable.java:287) -2019-06-05T15:41 [INFO] Parsing terminé !! temps écoulé = 1.92 s (ParallelLoader.java:217) -2019-06-05T15:41 [INFO] PARSE : Nombre de lignes (local) = 100000 (ParallelLoader.java:218) -2019-06-05T15:42 [INFO] SerialStructure.loadStructure : OK ! (SerialStructure.java:71) -2019-06-05T15:43 [INFO] PARSE : memusage init = (ParallelLoader.java:112) -2019-06-05T15:43 [INFO][MEMORY] 178,731 (ParallelLoader.java:114) -2019-06-05T15:43 [INFO] Loader : nombre de résultats (total) lus = 100000 temps écoulé = 0.141 sactiveThreadNb = 0 (ParallelLoader.java:150) -2019-06-05T15:43 [ERROR] debugCount = 0 (ParallelLoader.java:203) -2019-06-05T15:43 [WARNING] Fail to save entry number 0: incorrect data (ParallelLoaderRunnable.java:287) -2019-06-05T15:43 [INFO] Parsing terminé !! temps écoulé = 2.03 s (ParallelLoader.java:217) -2019-06-05T15:43 [INFO] PARSE : Nombre de lignes (local) = 100000 (ParallelLoader.java:218) -2019-06-05T18:35 [INFO] SerialStructure.loadStructure : OK ! (SerialStructure.java:71) -2019-06-05T18:35 [INFO] PARSE : memusage init = (ParallelLoader.java:112) -2019-06-05T18:35 [INFO][MEMORY] 229,265 (ParallelLoader.java:114) -2019-06-05T18:35 [INFO] Loader : nombre de résultats (total) lus = 100000 temps écoulé = 0.641 sactiveThreadNb = 0 (ParallelLoader.java:150) -2019-06-05T18:35 [ERROR] debugCount = 0 (ParallelLoader.java:203) -2019-06-05T18:35 [WARNING] Fail to save entry number 0: incorrect data (ParallelLoaderRunnable.java:287) -2019-06-05T18:35 [INFO] Parsing terminé !! temps écoulé = 3.04 s (ParallelLoader.java:217) -2019-06-05T18:35 [INFO] PARSE : Nombre de lignes (local) = 100000 (ParallelLoader.java:218) -2019-06-05T18:36 [INFO] PARSE : memusage init = (ParallelLoader.java:112) -2019-06-05T18:36 [INFO][MEMORY] 326,934 (ParallelLoader.java:114) -2019-06-05T18:36 [INFO] Loader : nombre de résultats (total) lus = 200000 temps écoulé = 0.072 sactiveThreadNb = 0 (ParallelLoader.java:150) -2019-06-05T18:36 [ERROR] debugCount = 0 (ParallelLoader.java:203) -2019-06-05T18:36 [WARNING] Fail to save entry number 0: incorrect data (ParallelLoaderRunnable.java:287) -2019-06-05T18:36 [INFO] Parsing terminé !! temps écoulé = 1.17 s (ParallelLoader.java:217) -2019-06-05T18:36 [INFO] PARSE : Nombre de lignes (local) = 100000 (ParallelLoader.java:218) -2019-06-05T18:37 [INFO] PARSE : memusage init = (ParallelLoader.java:112) -2019-06-05T18:37 [INFO][MEMORY] 537,997 (ParallelLoader.java:114) -2019-06-05T18:37 [INFO] Loader : nombre de résultats (total) lus = 300000 temps écoulé = 0.042 sactiveThreadN
\ No newline at end of file diff --git a/repo/testdata/repo_8k/00000/chunks/000000000000002 b/repo/testdata/repo_8k/00000/chunks/000000000000002 deleted file mode 100644 index 079ca90..0000000 --- a/repo/testdata/repo_8k/00000/chunks/000000000000002 +++ /dev/null @@ -1,98 +0,0 @@ -b = 0 (ParallelLoader.java:150) -2019-06-05T18:37 [ERROR] debugCount = 0 (ParallelLoader.java:203) -2019-06-05T18:37 [WARNING] Fail to save entry number 0: incorrect data (ParallelLoaderRunnable.java:287) -2019-06-05T18:37 [INFO] Parsing terminé !! temps écoulé = 1.23 s (ParallelLoader.java:217) -2019-06-05T18:37 [INFO] PARSE : Nombre de lignes (local) = 100000 (ParallelLoader.java:218) -2019-06-05T18:38 [DEBUG] TableHandler.flushAllIndexOnDisk : size = 0 (Table.java:334) -2019-06-05T18:38 [INFO] SerialStructure.writeStructure : OK ! (SerialStructure.java:54) -2019-06-05T18:38 [INFO] PARSE : memusage init = (ParallelLoader.java:112) -2019-06-05T18:38 [INFO][MEMORY] 498,154 (ParallelLoader.java:114) -2019-06-05T18:38 [INFO] Loader : nombre de résultats (total) lus = 400000 temps écoulé = 0.031 sactiveThreadNb = 0 (ParallelLoader.java:150) -2019-06-05T18:38 [ERROR] debugCount = 0 (ParallelLoader.java:203) -2019-06-05T18:38 [WARNING] Fail to save entry number 0: incorrect data (ParallelLoaderRunnable.java:287) -2019-06-05T18:38 [INFO] Parsing terminé !! temps écoulé = 1.10 s (ParallelLoader.java:217) -2019-06-05T18:38 [INFO] PARSE : Nombre de lignes (local) = 100000 (ParallelLoader.java:218) -2019-06-05T18:39 [DEBUG] TableHandler.flushAllIndexOnDisk : size = 0 (Table.java:334) -2019-06-05T18:39 [INFO] SerialStructure.writeStructure : OK ! (SerialStructure.java:54) -2019-06-05T18:40 [INFO] PARSE : memusage init = (ParallelLoader.java:112) -2019-06-05T18:40 [INFO][MEMORY] 493,228 (ParallelLoader.java:114) -2019-06-05T18:40 [INFO] Loader : nombre de résultats (total) lus = 500000 temps écoulé = 0.032 sactiveThreadNb = 0 (ParallelLoader.java:150) -2019-06-05T18:40 [ERROR] debugCount = 0 (ParallelLoader.java:203) -2019-06-05T18:40 [WARNING] Fail to save entry number 0: incorrect data (ParallelLoaderRunnable.java:287) -2019-06-05T18:40 [INFO] Parsing terminé !! temps écoulé = 1.02 s (ParallelLoader.java:217) -2019-06-05T18:40 [INFO] PARSE : Nombre de lignes (local) = 100000 (ParallelLoader.java:218) -2019-06-05T20:14 [ERROR] SerialStructure.loadStructure : impossible de charger la structure du disque. (SerialStructure.java:73) -2019-06-05T20:14 [ERROR] null (SerialStructure.java:74) -2019-06-05T20:15 [DEBUG] TableHandler.flushAllIndexOnDisk : size = 0 (Table.java:334) -2019-06-05T20:15 [INFO] SerialStructure.writeStructure : OK ! (SerialStructure.java:54) -2019-06-05T20:15 [INFO] PARSE : memusage init = (ParallelLoader.java:112) -2019-06-05T20:15 [INFO][MEMORY] 188,768 (ParallelLoader.java:114) -2019-06-05T20:15 [INFO] Loader : nombre de résultats (total) lus = 100000 temps écoulé = 0.301 sactiveThreadNb = 0 (ParallelLoader.java:150) -2019-06-05T20:15 [ERROR] debugCount = 0 (ParallelLoader.java:203) -2019-06-05T20:15 [WARNING] Fail to save entry number 0: incorrect data (ParallelLoaderRunnable.java:287) -2019-06-05T20:15 [INFO] Parsing terminé !! temps écoulé = 2.42 s (ParallelLoader.java:217) -2019-06-05T20:15 [INFO] PARSE : Nombre de lignes (local) = 100000 (ParallelLoader.java:218) -2019-06-05T20:15 [DEBUG] TableHandler.flushAllIndexOnDisk : size = 0 (Table.java:334) -2019-06-05T20:15 [INFO] SerialStructure.writeStructure : OK ! (SerialStructure.java:54) -2019-06-05T20:16 [INFO] PARSE : memusage init = (ParallelLoader.java:112) -2019-06-05T20:16 [INFO][MEMORY] 457,918 (ParallelLoader.java:114) -2019-06-05T20:16 [INFO] Loader : nombre de résultats (total) lus = 200000 temps écoulé = 0.049 sactiveThreadNb = 0 (ParallelLoader.java:150) -2019-06-05T20:16 [ERROR] debugCount = 0 (ParallelLoader.java:203) -2019-06-05T20:16 [WARNING] Fail to save entry number 0: incorrect data (ParallelLoaderRunnable.java:287) -2019-06-05T20:16 [INFO] Parsing terminé !! temps écoulé = 1.34 s (ParallelLoader.java:217) -2019-06-05T20:16 [INFO] PARSE : Nombre de lignes (local) = 100000 (ParallelLoader.java:218) -2019-06-05T20:19 [INFO] SerialStructure.loadStructure : OK ! (SerialStructure.java:71) -2019-06-05T20:19 [INFO] PARSE : memusage init = (ParallelLoader.java:112) -2019-06-05T20:19 [INFO][MEMORY] 180,323 (ParallelLoader.java:114) -2019-06-05T20:19 [INFO] Loader : nombre de résultats (total) lus = 100000 temps écoulé = 0.178 sactiveThreadNb = 0 (ParallelLoader.java:150) -2019-06-05T20:19 [ERROR] debugCount = 0 (ParallelLoader.java:203) -2019-06-05T20:19 [WARNING] Fail to save entry number 0: incorrect data (ParallelLoaderRunnable.java:287) -2019-06-05T20:19 [INFO] Parsing terminé !! temps écoulé = 1.92 s (ParallelLoader.java:217) -2019-06-05T20:19 [INFO] PARSE : Nombre de lignes (local) = 100000 (ParallelLoader.java:218) -2019-06-05T20:24 [INFO] SerialStructure.loadStructure : OK ! (SerialStructure.java:71) -2019-06-05T20:25 [INFO] SerialStructure.loadStructure : OK ! (SerialStructure.java:71) -2019-06-05T20:43 [INFO] SerialStructure.loadStructure : OK ! (SerialStructure.java:71) -2019-06-05T20:43 [INFO] PARSE : memusage init = (ParallelLoader.java:112) -2019-06-05T20:43 [INFO][MEMORY] 179,894 (ParallelLoader.java:114) -2019-06-05T20:43 [INFO] Loader : nombre de résultats (total) lus = 100000 temps écoulé = 0.133 sactiveThreadNb = 0 (ParallelLoader.java:150) -2019-06-05T20:43 [ERROR] debugCount = 0 (ParallelLoader.java:203) -2019-06-05T20:43 [WARNING] Fail to save entry number 0: incorrect data (ParallelLoaderRunnable.java:287) -2019-06-05T20:43 [INFO] Parsing terminé !! temps écoulé = 2.14 s (ParallelLoader.java:217) -2019-06-05T20:43 [INFO] PARSE : Nombre de lignes (local) = 100000 (ParallelLoader.java:218) -2019-06-05T20:50 [INFO] SerialStructure.loadStructure : OK ! (SerialStructure.java:71) -2019-06-05T20:50 [INFO] SerialStructure.loadStructure : OK ! (SerialStructure.java:71) -2019-06-05T21:56 [ERROR] SerialStructure.loadStructure : impossible de charger la structure du disque. -2019-06-05T21:56 [ERROR] null -2019-06-05T22:41 [ERROR] SerialStructure.loadStructure : impossible de charger la structure du disque. -2019-06-05T22:41 [ERROR] null -2019-06-05T22:42 [ERROR] SerialStructure.loadStructure : impossible de charger la structure du disque. -2019-06-05T22:42 [ERROR] null -2019-06-05T22:42 [ERROR] SerialStructure.loadStructure : impossible de charger la structure du disque. -2019-06-05T22:42 [ERROR] null -2019-06-05T22:42 [ERROR] SerialStructure.loadStructure : impossible de charger la structure du disque. -2019-06-05T22:42 [ERROR] null -2019-06-05T23:03 [ERROR] SerialStructure.loadStructure : impossible de charger la structure du disque. -2019-06-05T23:03 [ERROR] null -2019-06-05T23:04 [INFO] SerialStructure.writeStructure : OK ! -2019-06-05T23:04 [INFO] totalLength = 0 -2019-06-05T23:04 [INFO] totalLength = 0 -2019-06-05T23:04 [INFO] PARSE : memusage init = -2019-06-05T23:04 [INFO][MEMORY] 111,311 -2019-06-05T23:04 [INFO] Loader : nombre de résultats (total) lus = 100000 temps écoulé = 0.256 sactiveThreadNb = 0 -2019-06-05T23:04 [WARNING] Fail to save entry number 0: incorrect data -2019-06-05T23:04 [INFO] Parsing terminé !! temps écoulé = 2.57 s -2019-06-05T23:04 [INFO] PARSE : Nombre de lignes (local) = 100000 -2019-06-05T23:04 [INFO] totalLength = 99999 -2019-06-05T23:04 [INFO] totalLength = 99999 -2019-06-05T00:03 [ERROR] config.json (No such file or directory) (Database.java:33) -2019-06-05T00:03 [INFO][MEMORY] Mem usage début - 2,459 (ParallelLoaderTest.java:56) -2019-06-05T20:12 [INFO] Parsing de csvName = testdata/SMALL_100_000_yellow_tripdata_2015-04.csv (IndexMemDicStorageTests.java:180) -2019-06-05T20:12 [INFO] PARSE : memusage init = (ParallelLoader.java:112) -2019-06-05T20:12 [INFO][MEMORY] 27,443 (ParallelLoader.java:114) -2019-06-05T20:12 [INFO] Loader : nombre de résultats (total) lus = 100000 temps écoulé = 0.214 sactiveThreadNb = 0 (ParallelLoader.java:150) -2019-06-05T20:12 [ERROR] debugCount = 0 (ParallelLoader.java:203) -2019-06-05T20:12 [WARNING] Fail to save entry number 0: incorrect data (ParallelLoaderRunnable.java:287) -2019-06-05T20:12 [INFO] Parsing terminé !! temps écoulé = 1.44 s (ParallelLoader.java:217) -2019-06-05T20:12 [INFO] PARSE : Nombre de lignes (local) = 100000 (ParallelLoader.java:218) -2019-06-05T20:12 [INFO][TIMER] TEMPS TOTAL PRIS PAR TOUS LES PARSINGS: 1.45 s (IndexMemDicStorageTests.java:183) -2019-06-05T20:12 [INFO][TIME
\ No newline at end of file diff --git a/repo/testdata/repo_8k/00000/chunks/000000000000003 b/repo/testdata/repo_8k/00000/chunks/000000000000003 deleted file mode 100644 index 8720f6b..0000000 --- a/repo/testdata/repo_8k/00000/chunks/000000000000003 +++ /dev/null @@ -1,85 +0,0 @@ -R] Temps pris pour classer la 1ère fois: 0.477 s (IndexMemDicStorageTests.java:83) -2019-06-05T20:12 [INFO][TIMER] Temps pris pour classer la 2ème fois: 0.054 s (IndexMemDicStorageTests.java:86) -2019-06-05T20:12 [INFO] Recherche A OK ! Nb résultats selon A : 263 (IndexMemDicStorageTests.java:108) -2019-06-05T20:12 [INFO] Recherche B OK ! Nb résultats selon B : 263 (IndexMemDicStorageTests.java:111) -2019-06-05T20:12 [INFO] Recherche C OK ! Nb résultats selon C : 263 (IndexMemDicStorageTests.java:114) -2019-06-05T20:12 [INFO] resultsPositionsArray.length = 263 (IndexMemDicStorageTests.java:117) -2019-06-05T20:12 [INFO] Parsing de csvName = testdata/SMALL_100_000_yellow_tripdata_2015-04.csv (NewLoaderAndIndexTest.java:170) -2019-06-05T20:12 [INFO] PARSE : memusage init = (ParallelLoader.java:112) -2019-06-05T20:12 [INFO][MEMORY] 190,485 (ParallelLoader.java:114) -2019-06-05T20:12 [INFO] Loader : nombre de résultats (total) lus = 200000 temps écoulé = 0.064 sactiveThreadNb = 0 (ParallelLoader.java:150) -2019-06-05T20:12 [ERROR] debugCount = 0 (ParallelLoader.java:203) -2019-06-05T20:12 [WARNING] Fail to save entry number 0: incorrect data (ParallelLoaderRunnable.java:287) -2019-06-05T20:12 [INFO] Parsing terminé !! temps écoulé = 0.908 s (ParallelLoader.java:217) -2019-06-05T20:12 [INFO] PARSE : Nombre de lignes (local) = 100000 (ParallelLoader.java:218) -2019-06-05T20:12 [INFO][TIMER] TEMPS TOTAL PRIS PAR TOUS LES PARSINGS: 0.917 s (NewLoaderAndIndexTest.java:189) -2019-06-05T20:12 [INFO] Bon nombre total de lignes ! nombre = 99999 (NewLoaderAndIndexTest.java:193) -2019-06-05T20:12 [INFO] Recherche A OK ! Nb résultats selon A : 263 (NewLoaderAndIndexTest.java:71) -2019-06-05T20:12 [INFO] Recherche B OK ! Nb résultats selon B : 263 (NewLoaderAndIndexTest.java:74) -2019-06-05T20:12 [INFO] Recherche C OK ! Nb résultats selon C : 263 (NewLoaderAndIndexTest.java:77) -2019-06-05T20:12 [INFO] resultsPositionsArray.length = 263 (NewLoaderAndIndexTest.java:80) -2019-06-05T20:12 [INFO] Recherche FLAG OK ! Nb résultats avec FLAG : 175 index len = 99999 (NewLoaderAndIndexTest.java:101) -2019-06-05T20:12 [INFO] Recherche STRUCT OK ! Nb résultats avec restructuration : 175 index len = 66666 (NewLoaderAndIndexTest.java:109) -2019-06-05T20:12 [INFO] setUpBeforeAll (IndexTreeMessyTest.java:73) -2019-06-05T20:12 [INFO] Nombre de résultats/entrées parsés INIT : 0 (IndexTreeMessyTest.java:186) -2019-06-05T20:12 [WARNING] Fail to save entry number 0: incorrect data (Loader.java:107) -2019-06-05T20:12 [WARNING] Fail to save entry number 0: incorrect data (Loader.java:107) -2019-06-05T20:12 [INFO] Loader : nombre de résultats (local) parsés = 0 temps écoulé = 0.57 millis (Loader.java:116) -2019-06-05T20:12 [INFO] Loader : nombre de résultats (local) parsés = 0 temps écoulé = 0.56 millis (Loader.java:116) -2019-06-05T20:12 [INFO][MEMORY] 401,153 (Loader.java:117) -2019-06-05T20:12 [INFO][MEMORY] 401,153 (Loader.java:117) -2019-06-05T20:12 [WARNING] Fail to save entry number 0: incorrect data (Loader.java:107) -2019-06-05T20:12 [INFO] Loader : nombre de résultats (local) parsés = 0 temps écoulé = 0.33 millis (Loader.java:116) -2019-06-05T20:12 [INFO][MEMORY] 273,252 (Loader.java:117) -2019-06-05T20:12 [WARNING] Fail to save entry number 0: incorrect data (Loader.java:107) -2019-06-05T20:12 [INFO] Loader : nombre de résultats (local) parsés = 0 temps écoulé = 1.97 millis (Loader.java:116) -2019-06-05T20:12 [INFO][MEMORY] 273,252 (Loader.java:117) -2019-06-05T20:13 [INFO] PARSE : FINAL USAGE (Loader.java:136) -2019-06-05T20:13 [INFO][MEMORY] 216,262 (Loader.java:138) -2019-06-05T20:13 [INFO] PARSE : FINAL USAGE (Loader.java:136) -2019-06-05T20:13 [INFO][MEMORY] 221,186 (Loader.java:138) -2019-06-05T20:13 [INFO] PARSE : FINAL USAGE (Loader.java:136) -2019-06-05T20:13 [INFO][MEMORY] 218,771 (Loader.java:138) -2019-06-05T20:13 [INFO] PARSE : FINAL USAGE (Loader.java:136) -2019-06-05T20:13 [INFO][MEMORY] 216,694 (Loader.java:138) -2019-06-05T20:13 [INFO][TIMER] TEMPS TOTAL pris par le parsing: 6.57 s (IndexTreeMessyTest.java:314) -2019-06-05T20:13 [INFO] setUpBeforeAll OK (IndexTreeMessyTest.java:322) -2019-06-05T20:13 [DEBUG] TableHandler.flushAllIndexOnDisk : size = 15 (Table.java:334) -2019-06-05T20:13 [INFO][MEMORY] IndexTreeDic.flushOnDisk 222,432 (IndexTreeDic.java:517) -2019-06-05T20:13 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@2bef09c0 (Table.java:338) -2019-06-05T20:13 [INFO][MEMORY] IndexTreeDic.flushOnDisk 222,693 (IndexTreeDic.java:517) -2019-06-05T20:13 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@62ce72ff (Table.java:338) -2019-06-05T20:13 [INFO][MEMORY] IndexTreeDic.flushOnDisk 222,693 (IndexTreeDic.java:517) -2019-06-05T20:13 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@58a63629 (Table.java:338) -2019-06-05T20:13 [INFO][MEMORY] IndexTreeDic.flushOnDisk 222,693 (IndexTreeDic.java:517) -2019-06-05T20:13 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@7de843ef (Table.java:338) -2019-06-05T20:13 [INFO][MEMORY] IndexTreeDic.flushOnDisk 222,693 (IndexTreeDic.java:517) -2019-06-05T20:13 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@2e1af49b (Table.java:338) -2019-06-05T20:13 [INFO][MEMORY] IndexTreeDic.flushOnDisk 222,693 (IndexTreeDic.java:517) -2019-06-05T20:13 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@3fd2322d (Table.java:338) -2019-06-05T20:13 [INFO][MEMORY] IndexTreeDic.flushOnDisk 222,693 (IndexTreeDic.java:517) -2019-06-05T20:13 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@56ac5c80 (Table.java:338) -2019-06-05T20:13 [INFO][MEMORY] IndexTreeDic.flushOnDisk 222,693 (IndexTreeDic.java:517) -2019-06-05T20:13 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@69e49a81 (Table.java:338) -2019-06-05T20:13 [INFO][MEMORY] IndexTreeDic.flushOnDisk 222,693 (IndexTreeDic.java:517) -2019-06-05T20:13 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@1023150a (Table.java:338) -2019-06-05T20:13 [INFO][MEMORY] IndexTreeDic.flushOnDisk 222,693 (IndexTreeDic.java:517) -2019-06-05T20:13 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@3ece1e79 (Table.java:338) -2019-06-05T20:13 [INFO][MEMORY] IndexTreeDic.flushOnDisk 222,693 (IndexTreeDic.java:517) -2019-06-05T20:13 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@ab20d7c (Table.java:338) -2019-06-05T20:13 [INFO][MEMORY] IndexTreeDic.flushOnDisk 222,693 (IndexTreeDic.java:517) -2019-06-05T20:13 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@474fae39 (Table.java:338) -2019-06-05T20:13 [INFO][MEMORY] IndexTreeDic.flushOnDisk 222,693 (IndexTreeDic.java:517) -2019-06-05T20:13 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@4f4c789f (Table.java:338) -2019-06-05T20:13 [INFO][MEMORY] IndexTreeDic.flushOnDisk 222,693 (IndexTreeDic.java:517) -2019-06-05T20:13 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@13f9ad9 (Table.java:338) -2019-06-05T20:13 [INFO][MEMORY] IndexTreeDic.flushOnDisk 222,693 (IndexTreeDic.java:517) -2019-06-05T20:13 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@1b7cae6f (Table.java:338) -2019-06-05T20:13 [ERROR] SerialStructure.writeStructure : impossible de sauvegarder la structure du disque. (SerialStructure.java:56) -2019-06-05T20:13 [ERROR] java.nio.HeapByteBuffer (SerialStructure.java:57) -2019-06-05T20:13 [ERROR] SerialStructure.loadStructure : impossible de charger la structure du disque. (SerialStructure.java:73) -2019-06-05T20:13 [ERROR] null (SerialStructure.java:74) -2019-06-05T20:13 [INFO] Lancé (IndexTreeMessyTest.java:366) -2019-06-05T20:13 [INFO][TIMER] tempsPrisPourRecherchesSurFichiers: 48 millis (IndexTreeDic.java:1164) -2019-06-05T20:13 [INFO][TIMER] Temps total recherche: 0.051 s (IndexTreeMessyTest.java:408) -2019-06-05T20:13 [INFO][TIMER] Temps parcours des résultats: 1.72 millis (IndexTreeMessyTest.ja
\ No newline at end of file diff --git a/repo/testdata/repo_8k/00000/chunks/000000000000004 b/repo/testdata/repo_8k/00000/chunks/000000000000004 deleted file mode 100644 index f05dda7..0000000 --- a/repo/testdata/repo_8k/00000/chunks/000000000000004 +++ /dev/null @@ -1,87 +0,0 @@ -va:416) -2019-06-05T20:13 [INFO] Nombre de résultats = 3116 (IndexTreeMessyTest.java:417) -2019-06-05T20:13 [INFO][TIMER] tempsPrisPourRecherchesSurFichiers: 9 millis (IndexTreeDic.java:1164) -2019-06-05T20:13 [INFO][TIMER] Temps total recherche: 0.011 s (IndexTreeMessyTest.java:425) -2019-06-05T20:13 [INFO][TIMER] 1Temps d'acquisition des résultats (chargement du disque de tous les champs): 0.125 s (IndexTreeMessyTest.java:439) -2019-06-05T20:13 [INFO][TIMER] 2Temps d'acquisition des résultats certains champs seulement: 0.041 s (IndexTreeMessyTest.java:449) -2019-06-05T20:13 [INFO] Nombre de résultats = 700 (IndexTreeMessyTest.java:450) -2019-06-05T20:13 [INFO][TIMER] tempsPrisPourRecherchesSurFichiers: 4 millis (IndexTreeDic.java:1164) -2019-06-05T20:13 [INFO] Nombre de résultats (pour 18 exact) = 116 (IndexTreeMessyTest.java:456) -2019-06-05T20:13 [INFO] 40 (HashMapTests.java:27) -2019-06-05T20:13 [INFO][MEMORY] Mem usage début - 157,206 (ParallelLoaderTest.java:56) -2019-06-05T20:13 [INFO] Parsing de csvName = E:/csv/yellow_tripdata_2015-01.csv (ParallelLoaderTest.java:64) -2019-06-05T20:13 [INFO] Parsing de csvName = testdata/SMALL_100_000_yellow_tripdata_2015-04.csv (IndexMemDicStorageTests.java:180) -2019-06-05T20:13 [INFO] PARSE : memusage init = (ParallelLoader.java:112) -2019-06-05T20:13 [INFO][MEMORY] 28,086 (ParallelLoader.java:114) -2019-06-05T20:13 [INFO] Loader : nombre de résultats (total) lus = 100000 temps écoulé = 0.182 sactiveThreadNb = 0 (ParallelLoader.java:150) -2019-06-05T20:13 [ERROR] debugCount = 0 (ParallelLoader.java:203) -2019-06-05T20:13 [WARNING] Fail to save entry number 0: incorrect data (ParallelLoaderRunnable.java:287) -2019-06-05T20:13 [INFO] Parsing terminé !! temps écoulé = 1.43 s (ParallelLoader.java:217) -2019-06-05T20:13 [INFO] PARSE : Nombre de lignes (local) = 100000 (ParallelLoader.java:218) -2019-06-05T20:13 [INFO][TIMER] TEMPS TOTAL PRIS PAR TOUS LES PARSINGS: 1.44 s (IndexMemDicStorageTests.java:183) -2019-06-05T20:13 [INFO][TIMER] Temps pris pour classer la 1ère fois: 0.356 s (IndexMemDicStorageTests.java:83) -2019-06-05T20:13 [INFO][TIMER] Temps pris pour classer la 2ème fois: 0.032 s (IndexMemDicStorageTests.java:86) -2019-06-05T20:13 [INFO] Recherche A OK ! Nb résultats selon A : 263 (IndexMemDicStorageTests.java:108) -2019-06-05T20:13 [INFO] Recherche B OK ! Nb résultats selon B : 263 (IndexMemDicStorageTests.java:111) -2019-06-05T20:13 [INFO] Recherche C OK ! Nb résultats selon C : 263 (IndexMemDicStorageTests.java:114) -2019-06-05T20:13 [INFO] resultsPositionsArray.length = 263 (IndexMemDicStorageTests.java:117) -2019-06-05T20:13 [INFO] Parsing de csvName = testdata/SMALL_100_000_yellow_tripdata_2015-04.csv (NewLoaderAndIndexTest.java:170) -2019-06-05T20:13 [INFO] PARSE : memusage init = (ParallelLoader.java:112) -2019-06-05T20:13 [INFO][MEMORY] 184,068 (ParallelLoader.java:114) -2019-06-05T20:13 [INFO] Loader : nombre de résultats (total) lus = 200000 temps écoulé = 0.052 sactiveThreadNb = 0 (ParallelLoader.java:150) -2019-06-05T20:13 [ERROR] debugCount = 0 (ParallelLoader.java:203) -2019-06-05T20:13 [WARNING] Fail to save entry number 0: incorrect data (ParallelLoaderRunnable.java:287) -2019-06-05T20:13 [INFO] Parsing terminé !! temps écoulé = 0.941 s (ParallelLoader.java:217) -2019-06-05T20:13 [INFO] PARSE : Nombre de lignes (local) = 100000 (ParallelLoader.java:218) -2019-06-05T20:13 [INFO][TIMER] TEMPS TOTAL PRIS PAR TOUS LES PARSINGS: 0.945 s (NewLoaderAndIndexTest.java:189) -2019-06-05T20:13 [INFO] Bon nombre total de lignes ! nombre = 99999 (NewLoaderAndIndexTest.java:193) -2019-06-05T20:13 [INFO] Recherche A OK ! Nb résultats selon A : 263 (NewLoaderAndIndexTest.java:71) -2019-06-05T20:13 [INFO] Recherche B OK ! Nb résultats selon B : 263 (NewLoaderAndIndexTest.java:74) -2019-06-05T20:13 [INFO] Recherche C OK ! Nb résultats selon C : 263 (NewLoaderAndIndexTest.java:77) -2019-06-05T20:13 [INFO] resultsPositionsArray.length = 263 (NewLoaderAndIndexTest.java:80) -2019-06-05T20:13 [INFO] Recherche FLAG OK ! Nb résultats avec FLAG : 175 index len = 99999 (NewLoaderAndIndexTest.java:101) -2019-06-05T20:13 [INFO] Recherche STRUCT OK ! Nb résultats avec restructuration : 175 index len = 66666 (NewLoaderAndIndexTest.java:109) -2019-06-05T20:13 [INFO] setUpBeforeAll (IndexTreeMessyTest.java:73) -2019-06-05T20:13 [INFO] Nombre de résultats/entrées parsés INIT : 0 (IndexTreeMessyTest.java:186) -2019-06-05T20:13 [WARNING] Fail to save entry number 0: incorrect data (Loader.java:107) -2019-06-05T20:13 [INFO] Loader : nombre de résultats (local) parsés = 0 temps écoulé = 0.70 millis (Loader.java:116) -2019-06-05T20:13 [INFO][MEMORY] 276,783 (Loader.java:117) -2019-06-05T20:13 [WARNING] Fail to save entry number 0: incorrect data (Loader.java:107) -2019-06-05T20:13 [INFO] Loader : nombre de résultats (local) parsés = 0 temps écoulé = 0.69 millis (Loader.java:116) -2019-06-05T20:13 [INFO][MEMORY] 341,077 (Loader.java:117) -2019-06-05T20:13 [WARNING] Fail to save entry number 0: incorrect data (Loader.java:107) -2019-06-05T20:13 [INFO] Loader : nombre de résultats (local) parsés = 0 temps écoulé = 3.09 millis (Loader.java:116) -2019-06-05T20:13 [INFO][MEMORY] 358,336 (Loader.java:117) -2019-06-05T20:13 [WARNING] Fail to save entry number 0: incorrect data (Loader.java:107) -2019-06-05T20:13 [INFO] Loader : nombre de résultats (local) parsés = 0 temps écoulé = 5.74 millis (Loader.java:116) -2019-06-05T20:13 [INFO][MEMORY] 358,336 (Loader.java:117) -2019-06-05T20:13 [INFO] PARSE : FINAL USAGE (Loader.java:136) -2019-06-05T20:13 [INFO][MEMORY] 218,799 (Loader.java:138) -2019-06-05T20:13 [INFO] PARSE : FINAL USAGE (Loader.java:136) -2019-06-05T20:13 [INFO][MEMORY] 218,840 (Loader.java:138) -2019-06-05T20:13 [INFO] PARSE : FINAL USAGE (Loader.java:136) -2019-06-05T20:13 [INFO][MEMORY] 223,379 (Loader.java:138) -2019-06-05T20:13 [INFO] PARSE : FINAL USAGE (Loader.java:136) -2019-06-05T20:13 [INFO][MEMORY] 216,694 (Loader.java:138) -2019-06-05T20:13 [INFO][TIMER] TEMPS TOTAL pris par le parsing: 6.18 s (IndexTreeMessyTest.java:314) -2019-06-05T20:13 [INFO] setUpBeforeAll OK (IndexTreeMessyTest.java:322) -2019-06-05T20:13 [DEBUG] TableHandler.flushAllIndexOnDisk : size = 15 (Table.java:334) -2019-06-05T20:13 [INFO][MEMORY] IndexTreeDic.flushOnDisk 222,326 (IndexTreeDic.java:517) -2019-06-05T20:13 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@2881ad47 (Table.java:338) -2019-06-05T20:13 [INFO][MEMORY] IndexTreeDic.flushOnDisk 222,326 (IndexTreeDic.java:517) -2019-06-05T20:13 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@2bef09c0 (Table.java:338) -2019-06-05T20:13 [INFO][MEMORY] IndexTreeDic.flushOnDisk 222,326 (IndexTreeDic.java:517) -2019-06-05T20:13 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@62ce72ff (Table.java:338) -2019-06-05T20:13 [INFO][MEMORY] IndexTreeDic.flushOnDisk 222,326 (IndexTreeDic.java:517) -2019-06-05T20:13 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@58a63629 (Table.java:338) -2019-06-05T20:13 [INFO][MEMORY] IndexTreeDic.flushOnDisk 222,326 (IndexTreeDic.java:517) -2019-06-05T20:13 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@7de843ef (Table.java:338) -2019-06-05T20:13 [INFO][MEMORY] IndexTreeDic.flushOnDisk 222,326 (IndexTreeDic.java:517) -2019-06-05T20:13 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@2e1af49b (Table.java:338) -2019-06-05T20:13 [INFO][MEMORY] IndexTreeDic.flushOnDisk 222,326 (IndexTreeDic.java:517) -2019-06-05T20:13 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@3fd2322d (Table.java:338) -2019-06-05T20:13 [INFO][MEMORY] IndexTreeDic.flushOnDisk 222,326 (IndexTreeDic.java:517) -2019-06-05T20:13 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@56ac5c80 (Table.java:338) -2019-06-05T20:13 [INFO][MEMORY] IndexTreeDic.flushOnDisk 222,326 (IndexTreeDic.java:517) -2019-06-05T20:13 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@69e49a81 (Table.java:338) -2019-06-05T20:13 [INFO]
\ No newline at end of file diff --git a/repo/testdata/repo_8k/00000/chunks/000000000000005 b/repo/testdata/repo_8k/00000/chunks/000000000000005 deleted file mode 100644 index 0134101..0000000 --- a/repo/testdata/repo_8k/00000/chunks/000000000000005 +++ /dev/null @@ -1,87 +0,0 @@ -[MEMORY] IndexTreeDic.flushOnDisk 222,326 (IndexTreeDic.java:517) -2019-06-05T20:13 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@1023150a (Table.java:338) -2019-06-05T20:13 [INFO][MEMORY] IndexTreeDic.flushOnDisk 222,326 (IndexTreeDic.java:517) -2019-06-05T20:13 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@3ece1e79 (Table.java:338) -2019-06-05T20:13 [INFO][MEMORY] IndexTreeDic.flushOnDisk 222,326 (IndexTreeDic.java:517) -2019-06-05T20:13 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@ab20d7c (Table.java:338) -2019-06-05T20:13 [INFO][MEMORY] IndexTreeDic.flushOnDisk 222,326 (IndexTreeDic.java:517) -2019-06-05T20:13 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@474fae39 (Table.java:338) -2019-06-05T20:13 [INFO][MEMORY] IndexTreeDic.flushOnDisk 222,326 (IndexTreeDic.java:517) -2019-06-05T20:13 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@4f4c789f (Table.java:338) -2019-06-05T20:13 [INFO][MEMORY] IndexTreeDic.flushOnDisk 222,326 (IndexTreeDic.java:517) -2019-06-05T20:13 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@13f9ad9 (Table.java:338) -2019-06-05T20:13 [ERROR] SerialStructure.writeStructure : impossible de sauvegarder la structure du disque. (SerialStructure.java:56) -2019-06-05T20:13 [ERROR] java.nio.HeapByteBuffer (SerialStructure.java:57) -2019-06-05T20:13 [ERROR] SerialStructure.loadStructure : impossible de charger la structure du disque. (SerialStructure.java:73) -2019-06-05T20:13 [ERROR] null (SerialStructure.java:74) -2019-06-05T20:13 [INFO] Lancé (IndexTreeMessyTest.java:366) -2019-06-05T20:13 [INFO][TIMER] tempsPrisPourRecherchesSurFichiers: 58 millis (IndexTreeDic.java:1164) -2019-06-05T20:13 [INFO][TIMER] Temps total recherche: 0.061 s (IndexTreeMessyTest.java:408) -2019-06-05T20:13 [INFO][TIMER] Temps parcours des résultats: 1.25 millis (IndexTreeMessyTest.java:416) -2019-06-05T20:13 [INFO] Nombre de résultats = 3116 (IndexTreeMessyTest.java:417) -2019-06-05T20:13 [INFO][TIMER] tempsPrisPourRecherchesSurFichiers: 7 millis (IndexTreeDic.java:1164) -2019-06-05T20:13 [INFO][TIMER] Temps total recherche: 8.20 millis (IndexTreeMessyTest.java:425) -2019-06-05T20:13 [INFO][TIMER] 1Temps d'acquisition des résultats (chargement du disque de tous les champs): 0.072 s (IndexTreeMessyTest.java:439) -2019-06-05T20:13 [INFO][TIMER] 2Temps d'acquisition des résultats certains champs seulement: 0.040 s (IndexTreeMessyTest.java:449) -2019-06-05T20:13 [INFO] Nombre de résultats = 700 (IndexTreeMessyTest.java:450) -2019-06-05T20:13 [INFO][TIMER] tempsPrisPourRecherchesSurFichiers: 3 millis (IndexTreeDic.java:1164) -2019-06-05T20:13 [INFO] Nombre de résultats (pour 18 exact) = 116 (IndexTreeMessyTest.java:456) -2019-06-05T20:13 [INFO] 40 (HashMapTests.java:27) -2019-06-05T20:13 [INFO][MEMORY] Mem usage début - 157,225 (ParallelLoaderTest.java:56) -2019-06-05T20:13 [INFO] Parsing de csvName = testdata/SMALL_100_000_yellow_tripdata_2015-04.csv (ParallelLoaderTest.java:64) -2019-06-05T20:13 [INFO] PARSE : memusage init = (ParallelLoader.java:112) -2019-06-05T20:13 [INFO][MEMORY] 166,226 (ParallelLoader.java:114) -2019-06-05T20:13 [INFO] Loader : nombre de résultats (total) lus = 300000 temps écoulé = 0.041 sactiveThreadNb = 0 (ParallelLoader.java:150) -2019-06-05T20:13 [ERROR] debugCount = 0 (ParallelLoader.java:203) -2019-06-05T20:13 [WARNING] Fail to save entry number 0: incorrect data (ParallelLoaderRunnable.java:287) -2019-06-05T20:14 [INFO] Parsing terminé !! temps écoulé = 0.638 s (ParallelLoader.java:217) -2019-06-05T20:14 [INFO] PARSE : Nombre de lignes (local) = 100000 (ParallelLoader.java:218) -2019-06-05T20:14 [INFO] Parsing de csvName = testdata/SMALL_100_000_yellow_tripdata_2015-04.csv (ParallelLoaderTest.java:64) -2019-06-05T20:14 [INFO] PARSE : memusage init = (ParallelLoader.java:112) -2019-06-05T20:14 [INFO][MEMORY] 422,898 (ParallelLoader.java:114) -2019-06-05T20:14 [INFO] Loader : nombre de résultats (total) lus = 400000 temps écoulé = 0.040 sactiveThreadNb = 0 (ParallelLoader.java:150) -2019-06-05T20:14 [ERROR] debugCount = 0 (ParallelLoader.java:203) -2019-06-05T20:14 [WARNING] Fail to save entry number 0: incorrect data (ParallelLoaderRunnable.java:287) -2019-06-05T20:14 [INFO] Parsing terminé !! temps écoulé = 0.624 s (ParallelLoader.java:217) -2019-06-05T20:14 [INFO] PARSE : Nombre de lignes (local) = 100000 (ParallelLoader.java:218) -2019-06-05T20:14 [INFO][MEMORY] Mem usage fin - 267,348 (ParallelLoaderTest.java:113) -2019-06-05T20:14 [INFO][TIMER] TEMPS TOTAL PRIS PAR TOUS LES PARSINGS: 1.46 s (ParallelLoaderTest.java:114) -2019-06-05T20:50 [INFO] Parsing de csvName = testdata/SMALL_100_000_yellow_tripdata_2015-04.csv (IndexMemDicStorageTests.java:180) -2019-06-05T20:50 [INFO] PARSE : memusage init = (ParallelLoader.java:112) -2019-06-05T20:50 [INFO][MEMORY] 12,904 (ParallelLoader.java:114) -2019-06-05T20:50 [INFO] Loader : nombre de résultats (total) lus = 100000 temps écoulé = 0.175 sactiveThreadNb = 0 (ParallelLoader.java:150) -2019-06-05T20:50 [ERROR] debugCount = 0 (ParallelLoader.java:203) -2019-06-05T20:50 [WARNING] Fail to save entry number 0: incorrect data (ParallelLoaderRunnable.java:287) -2019-06-05T20:50 [INFO] Parsing terminé !! temps écoulé = 2.03 s (ParallelLoader.java:217) -2019-06-05T20:50 [INFO] PARSE : Nombre de lignes (local) = 100000 (ParallelLoader.java:218) -2019-06-05T20:50 [INFO][TIMER] TEMPS TOTAL PRIS PAR TOUS LES PARSINGS: 2.04 s (IndexMemDicStorageTests.java:183) -2019-06-05T20:50 [INFO] Parsing de csvName = testdata/SMALL_100_000_yellow_tripdata_2015-04.csv (NewLoaderAndIndexTest.java:170) -2019-06-05T20:50 [INFO] PARSE : memusage init = (ParallelLoader.java:112) -2019-06-05T20:50 [INFO][MEMORY] 157,253 (ParallelLoader.java:114) -2019-06-05T20:50 [INFO] Loader : nombre de résultats (total) lus = 200000 temps écoulé = 0.111 sactiveThreadNb = 0 (ParallelLoader.java:150) -2019-06-05T20:50 [ERROR] debugCount = 0 (ParallelLoader.java:203) -2019-06-05T20:50 [WARNING] Fail to save entry number 0: incorrect data (ParallelLoaderRunnable.java:287) -2019-06-05T20:50 [INFO] Parsing terminé !! temps écoulé = 0.781 s (ParallelLoader.java:217) -2019-06-05T20:50 [INFO] PARSE : Nombre de lignes (local) = 100000 (ParallelLoader.java:218) -2019-06-05T20:50 [INFO][TIMER] TEMPS TOTAL PRIS PAR TOUS LES PARSINGS: 0.787 s (NewLoaderAndIndexTest.java:189) -2019-06-05T20:50 [INFO] Bon nombre total de lignes ! nombre = 99999 (NewLoaderAndIndexTest.java:193) -2019-06-05T20:50 [INFO] setUpBeforeAll (IndexTreeMessyTest.java:73) -2019-06-05T20:50 [INFO] Nombre de résultats/entrées parsés INIT : 0 (IndexTreeMessyTest.java:186) -2019-06-05T20:50 [WARNING] Fail to save entry number 0: incorrect data (Loader.java:107) -2019-06-05T20:50 [INFO] Loader : nombre de résultats (local) parsés = 0 temps écoulé = 5.82 millis (Loader.java:116) -2019-06-05T20:50 [WARNING] Fail to save entry number 0: incorrect data (Loader.java:107) -2019-06-05T20:50 [INFO] Loader : nombre de résultats (local) parsés = 0 temps écoulé = 0.66 millis (Loader.java:116) -2019-06-05T20:50 [INFO][MEMORY] 134,560 (Loader.java:117) -2019-06-05T20:50 [INFO][MEMORY] 134,560 (Loader.java:117) -2019-06-05T20:50 [WARNING] Fail to save entry number 0: incorrect data (Loader.java:107) -2019-06-05T20:50 [INFO] Loader : nombre de résultats (local) parsés = 0 temps écoulé = 1.11 millis (Loader.java:116) -2019-06-05T20:50 [INFO][MEMORY] 152,063 (Loader.java:117) -2019-06-05T20:50 [WARNING] Fail to save entry number 0: incorrect data (Loader.java:107) -2019-06-05T20:50 [INFO] Loader : nombre de résultats (local) parsés = 0 temps écoulé = 0.011 s (Loader.java:116) -2019-06-05T20:50 [INFO][MEMORY] 168,447 (Loader.java:117) -2019-06-05T20:50 [INFO] PARSE : FINAL USAGE (Loader.java:136) -2019-06-05T20:50 [INFO] PARSE : FINAL USAGE (Loader.java:136) -2019-06-05T20:50 [INFO][MEMORY] 155,685 (Loader.java:138) -2019-06-05T20:50 [INFO][MEMORY] 156,197 (Loader.java:138) -2019-06-05T20:50 [INFO] PARSE : FINAL USAGE (Loader.java:136) -2019-06-05T20:50 [INFO][MEMORY] 155,691 (Lo
\ No newline at end of file diff --git a/repo/testdata/repo_8k/00000/chunks/000000000000006 b/repo/testdata/repo_8k/00000/chunks/000000000000006 deleted file mode 100644 index 91c72a3..0000000 --- a/repo/testdata/repo_8k/00000/chunks/000000000000006 +++ /dev/null @@ -1,84 +0,0 @@ -ader.java:138) -2019-06-05T20:50 [INFO] PARSE : FINAL USAGE (Loader.java:136) -2019-06-05T20:50 [INFO][MEMORY] 155,633 (Loader.java:138) -2019-06-05T20:50 [INFO][TIMER] TEMPS TOTAL pris par le parsing: 5.14 s (IndexTreeMessyTest.java:314) -2019-06-05T20:50 [INFO] setUpBeforeAll OK (IndexTreeMessyTest.java:322) -2019-06-05T20:50 [DEBUG] TableHandler.flushAllIndexOnDisk : size = 15 (Table.java:334) -2019-06-05T20:50 [INFO][MEMORY] IndexTreeDic.flushOnDisk 156,657 (IndexTreeDic.java:517) -2019-06-05T20:50 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@4b0b0854 (Table.java:338) -2019-06-05T20:50 [INFO][MEMORY] IndexTreeDic.flushOnDisk 156,657 (IndexTreeDic.java:517) -2019-06-05T20:50 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@19bb07ed (Table.java:338) -2019-06-05T20:51 [INFO][MEMORY] IndexTreeDic.flushOnDisk 157,033 (IndexTreeDic.java:517) -2019-06-05T20:51 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@10e41621 (Table.java:338) -2019-06-05T20:51 [INFO][MEMORY] IndexTreeDic.flushOnDisk 157,033 (IndexTreeDic.java:517) -2019-06-05T20:51 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@353d0772 (Table.java:338) -2019-06-05T20:51 [INFO][MEMORY] IndexTreeDic.flushOnDisk 157,082 (IndexTreeDic.java:517) -2019-06-05T20:51 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@2667f029 (Table.java:338) -2019-06-05T20:51 [INFO][MEMORY] IndexTreeDic.flushOnDisk 157,594 (IndexTreeDic.java:517) -2019-06-05T20:51 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@67a20f67 (Table.java:338) -2019-06-05T20:51 [INFO][MEMORY] IndexTreeDic.flushOnDisk 157,681 (IndexTreeDic.java:517) -2019-06-05T20:51 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@57c758ac (Table.java:338) -2019-06-05T20:51 [INFO][MEMORY] IndexTreeDic.flushOnDisk 157,681 (IndexTreeDic.java:517) -2019-06-05T20:51 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@a9cd3b1 (Table.java:338) -2019-06-05T20:51 [INFO][MEMORY] IndexTreeDic.flushOnDisk 157,681 (IndexTreeDic.java:517) -2019-06-05T20:51 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@13e39c73 (Table.java:338) -2019-06-05T20:51 [INFO][MEMORY] IndexTreeDic.flushOnDisk 157,915 (IndexTreeDic.java:517) -2019-06-05T20:51 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@64cd705f (Table.java:338) -2019-06-05T20:51 [INFO][MEMORY] IndexTreeDic.flushOnDisk 158,427 (IndexTreeDic.java:517) -2019-06-05T20:51 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@9225652 (Table.java:338) -2019-06-05T20:51 [INFO][MEMORY] IndexTreeDic.flushOnDisk 158,427 (IndexTreeDic.java:517) -2019-06-05T20:51 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@654f0d9c (Table.java:338) -2019-06-05T20:51 [INFO][MEMORY] IndexTreeDic.flushOnDisk 158,427 (IndexTreeDic.java:517) -2019-06-05T20:51 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@6a400542 (Table.java:338) -2019-06-05T20:51 [INFO][MEMORY] IndexTreeDic.flushOnDisk 158,427 (IndexTreeDic.java:517) -2019-06-05T20:51 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@6580cfdd (Table.java:338) -2019-06-05T20:51 [INFO][MEMORY] IndexTreeDic.flushOnDisk 158,427 (IndexTreeDic.java:517) -2019-06-05T20:51 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@7e0b85f9 (Table.java:338) -2019-06-05T20:51 [ERROR] SerialStructure.writeStructure : impossible de sauvegarder la structure du disque. (SerialStructure.java:56) -2019-06-05T20:51 [ERROR] java.nio.HeapByteBuffer (SerialStructure.java:57) -2019-06-05T20:51 [ERROR] SerialStructure.loadStructure : impossible de charger la structure du disque. (SerialStructure.java:73) -2019-06-05T20:51 [ERROR] null (SerialStructure.java:74) -2019-06-05T20:51 [INFO] Lancé (IndexTreeMessyTest.java:366) -2019-06-05T20:51 [INFO][TIMER] tempsPrisPourRecherchesSurFichiers: 31 millis (IndexTreeDic.java:1164) -2019-06-05T20:51 [INFO][TIMER] Temps total recherche: 0.037 s (IndexTreeMessyTest.java:408) -2019-06-05T20:51 [INFO][TIMER] Temps parcours des résultats: 1.96 millis (IndexTreeMessyTest.java:416) -2019-06-05T20:51 [INFO] Nombre de résultats = 3116 (IndexTreeMessyTest.java:417) -2019-06-05T20:51 [INFO][TIMER] tempsPrisPourRecherchesSurFichiers: 6 millis (IndexTreeDic.java:1164) -2019-06-05T20:51 [INFO][TIMER] Temps total recherche: 7.48 millis (IndexTreeMessyTest.java:425) -2019-06-05T20:51 [INFO][TIMER] 1Temps d'acquisition des résultats (chargement du disque de tous les champs): 0.119 s (IndexTreeMessyTest.java:439) -2019-06-05T20:51 [INFO][TIMER] 2Temps d'acquisition des résultats certains champs seulement: 0.040 s (IndexTreeMessyTest.java:449) -2019-06-05T20:51 [INFO] Nombre de résultats = 700 (IndexTreeMessyTest.java:450) -2019-06-05T20:51 [INFO][TIMER] tempsPrisPourRecherchesSurFichiers: 1 millis (IndexTreeDic.java:1164) -2019-06-05T20:51 [INFO] Nombre de résultats (pour 18 exact) = 116 (IndexTreeMessyTest.java:456) -2019-06-05T20:51 [INFO] 40 (HashMapTests.java:27) -2019-06-05T20:51 [INFO][MEMORY] Mem usage début - 88,295 (ParallelLoaderTest.java:56) -2019-06-05T20:51 [INFO] Parsing de csvName = testdata/SMALL_100_000_yellow_tripdata_2015-04.csv (ParallelLoaderTest.java:64) -2019-06-05T20:51 [INFO] PARSE : memusage init = (ParallelLoader.java:112) -2019-06-05T20:51 [INFO][MEMORY] 90,343 (ParallelLoader.java:114) -2019-06-05T20:51 [INFO] Loader : nombre de résultats (total) lus = 300000 temps écoulé = 0.064 sactiveThreadNb = 0 (ParallelLoader.java:150) -2019-06-05T20:51 [ERROR] debugCount = 0 (ParallelLoader.java:203) -2019-06-05T20:51 [WARNING] Fail to save entry number 0: incorrect data (ParallelLoaderRunnable.java:287) -2019-06-05T20:51 [INFO] Parsing terminé !! temps écoulé = 0.862 s (ParallelLoader.java:217) -2019-06-05T20:51 [INFO] PARSE : Nombre de lignes (local) = 100000 (ParallelLoader.java:218) -2019-06-05T20:51 [INFO] Parsing de csvName = testdata/SMALL_100_000_yellow_tripdata_2015-04.csv (ParallelLoaderTest.java:64) -2019-06-05T20:51 [INFO] PARSE : memusage init = (ParallelLoader.java:112) -2019-06-05T20:51 [INFO][MEMORY] 227,179 (ParallelLoader.java:114) -2019-06-05T20:51 [INFO] Loader : nombre de résultats (total) lus = 400000 temps écoulé = 0.055 sactiveThreadNb = 0 (ParallelLoader.java:150) -2019-06-05T20:51 [ERROR] debugCount = 0 (ParallelLoader.java:203) -2019-06-05T20:51 [WARNING] Fail to save entry number 0: incorrect data (ParallelLoaderRunnable.java:287) -2019-06-05T20:51 [INFO] Parsing terminé !! temps écoulé = 0.676 s (ParallelLoader.java:217) -2019-06-05T20:51 [INFO] PARSE : Nombre de lignes (local) = 100000 (ParallelLoader.java:218) -2019-06-05T20:51 [INFO][MEMORY] Mem usage fin - 189,561 (ParallelLoaderTest.java:113) -2019-06-05T20:51 [INFO][TIMER] TEMPS TOTAL PRIS PAR TOUS LES PARSINGS: 1.63 s (ParallelLoaderTest.java:114) -2019-06-05T21:56 [INFO] Parsing de csvName = testdata/SMALL_100_000_yellow_tripdata_2015-04.csv (IndexMemDicStorageTests.java:180) -2019-06-05T21:56 [INFO] PARSE : memusage init = (ParallelLoader.java:112) -2019-06-05T21:56 [INFO][MEMORY] 13,925 (ParallelLoader.java:114) -2019-06-05T21:56 [INFO] Loader : nombre de résultats (total) lus = 100000 temps écoulé = 0.226 sactiveThreadNb = 0 (ParallelLoader.java:150) -2019-06-05T21:56 [ERROR] debugCount = 0 (ParallelLoader.java:203) -2019-06-05T21:56 [WARNING] Fail to save entry number 0: incorrect data (ParallelLoaderRunnable.java:287) -2019-06-05T21:57 [INFO] Parsing terminé !! temps écoulé = 33.57 s (ParallelLoader.java:217) -2019-06-05T21:57 [INFO] PARSE : Nombre de lignes (local) = 100000 (ParallelLoader.java:218) -2019-06-05T21:57 [INFO][TIMER] TEMPS TOTAL PRIS PAR TOUS LES PARSINGS: 33.66 s (IndexMemDicStorageTests.java:183) -2019-06-05T21:57 [INFO] Parsing de csvName = testdata/SMALL_100_000_yellow_tripdata_2015-04.csv (NewLoaderAndIndexTest.java:170) -2019-06-05T21:57 [INFO] PARSE : memusage init = (ParallelLoader.java:112) -2019-06-05T21:57 [INFO][MEMOR
\ No newline at end of file diff --git a/repo/testdata/repo_8k/00000/chunks/000000000000007 b/repo/testdata/repo_8k/00000/chunks/000000000000007 deleted file mode 100644 index f9f54db..0000000 --- a/repo/testdata/repo_8k/00000/chunks/000000000000007 +++ /dev/null @@ -1,87 +0,0 @@ -Y] 58,123 (ParallelLoader.java:114) -2019-06-05T21:57 [INFO] Loader : nombre de résultats (total) lus = 200000 temps écoulé = 0.206 sactiveThreadNb = 0 (ParallelLoader.java:150) -2019-06-05T21:57 [ERROR] debugCount = 0 (ParallelLoader.java:203) -2019-06-05T21:57 [WARNING] Fail to save entry number 0: incorrect data (ParallelLoaderRunnable.java:287) -2019-06-05T21:57 [INFO] Parsing terminé !! temps écoulé = 15.87 s (ParallelLoader.java:217) -2019-06-05T21:57 [INFO] PARSE : Nombre de lignes (local) = 100000 (ParallelLoader.java:218) -2019-06-05T21:57 [INFO][TIMER] TEMPS TOTAL PRIS PAR TOUS LES PARSINGS: 16.28 s (NewLoaderAndIndexTest.java:189) -2019-06-05T21:57 [INFO] Bon nombre total de lignes ! nombre = 99999 (NewLoaderAndIndexTest.java:193) -2019-06-05T21:57 [INFO] setUpBeforeAll (IndexTreeMessyTest.java:73) -2019-06-05T21:57 [INFO] Nombre de résultats/entrées parsés INIT : 0 (IndexTreeMessyTest.java:186) -2019-06-05T21:57 [WARNING] Fail to save entry number 0: incorrect data (Loader.java:107) -2019-06-05T21:57 [WARNING] Fail to save entry number 0: incorrect data (Loader.java:107) -2019-06-05T21:57 [WARNING] Fail to save entry number 0: incorrect data (Loader.java:107) -2019-06-05T21:57 [WARNING] Fail to save entry number 0: incorrect data (Loader.java:107) -2019-06-05T21:57 [INFO] Loader : nombre de résultats (local) parsés = 0 temps écoulé = 9.32 millis (Loader.java:116) -2019-06-05T21:57 [INFO] Loader : nombre de résultats (local) parsés = 0 temps écoulé = 7.80 millis (Loader.java:116) -2019-06-05T21:57 [INFO] Loader : nombre de résultats (local) parsés = 0 temps écoulé = 8.95 millis (Loader.java:116) -2019-06-05T21:57 [INFO] Loader : nombre de résultats (local) parsés = 0 temps écoulé = 8.32 millis (Loader.java:116) -2019-06-05T21:57 [INFO][MEMORY] 181,960 (Loader.java:117) -2019-06-05T21:57 [INFO][MEMORY] 181,960 (Loader.java:117) -2019-06-05T21:57 [INFO][MEMORY] 181,960 (Loader.java:117) -2019-06-05T21:57 [INFO][MEMORY] 181,960 (Loader.java:117) -2019-06-05T22:41 [INFO] PARSE : FINAL USAGE (Loader.java:136) -2019-06-05T22:41 [INFO][MEMORY] 155,396 (Loader.java:138) -2019-06-05T22:41 [INFO] PARSE : FINAL USAGE (Loader.java:136) -2019-06-05T22:41 [INFO][MEMORY] 155,945 (Loader.java:138) -2019-06-05T22:41 [INFO] PARSE : FINAL USAGE (Loader.java:136) -2019-06-05T22:41 [INFO][MEMORY] 155,523 (Loader.java:138) -2019-06-05T22:41 [INFO] PARSE : FINAL USAGE (Loader.java:136) -2019-06-05T22:41 [INFO][MEMORY] 155,565 (Loader.java:138) -2019-06-05T22:41 [INFO][TIMER] TEMPS TOTAL pris par le parsing: 35.40 s (IndexTreeMessyTest.java:314) -2019-06-05T22:41 [INFO] setUpBeforeAll OK (IndexTreeMessyTest.java:322) -2019-06-05T22:41 [DEBUG] TableHandler.flushAllIndexOnDisk : size = 15 (Table.java:334) -2019-06-05T22:41 [INFO][MEMORY] IndexTreeDic.flushOnDisk 156,457 (IndexTreeDic.java:517) -2019-06-05T22:41 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@e056f20 (Table.java:338) -2019-06-05T22:41 [INFO][MEMORY] IndexTreeDic.flushOnDisk 156,457 (IndexTreeDic.java:517) -2019-06-05T22:41 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@4b0b0854 (Table.java:338) -2019-06-05T22:41 [INFO][MEMORY] IndexTreeDic.flushOnDisk 156,834 (IndexTreeDic.java:517) -2019-06-05T22:41 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@19bb07ed (Table.java:338) -2019-06-05T22:41 [INFO][MEMORY] IndexTreeDic.flushOnDisk 156,834 (IndexTreeDic.java:517) -2019-06-05T22:41 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@10e41621 (Table.java:338) -2019-06-05T22:41 [INFO][MEMORY] IndexTreeDic.flushOnDisk 156,883 (IndexTreeDic.java:517) -2019-06-05T22:41 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@353d0772 (Table.java:338) -2019-06-05T22:41 [INFO][MEMORY] IndexTreeDic.flushOnDisk 157,067 (IndexTreeDic.java:517) -2019-06-05T22:41 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@2667f029 (Table.java:338) -2019-06-05T22:41 [INFO][MEMORY] IndexTreeDic.flushOnDisk 157,067 (IndexTreeDic.java:517) -2019-06-05T22:41 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@67a20f67 (Table.java:338) -2019-06-05T22:41 [INFO][MEMORY] IndexTreeDic.flushOnDisk 157,579 (IndexTreeDic.java:517) -2019-06-05T22:41 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@57c758ac (Table.java:338) -2019-06-05T22:41 [INFO][MEMORY] IndexTreeDic.flushOnDisk 157,579 (IndexTreeDic.java:517) -2019-06-05T22:41 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@a9cd3b1 (Table.java:338) -2019-06-05T22:41 [INFO][MEMORY] IndexTreeDic.flushOnDisk 157,627 (IndexTreeDic.java:517) -2019-06-05T22:41 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@13e39c73 (Table.java:338) -2019-06-05T22:41 [INFO][MEMORY] IndexTreeDic.flushOnDisk 157,627 (IndexTreeDic.java:517) -2019-06-05T22:41 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@64cd705f (Table.java:338) -2019-06-05T22:41 [INFO][MEMORY] IndexTreeDic.flushOnDisk 157,627 (IndexTreeDic.java:517) -2019-06-05T22:41 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@9225652 (Table.java:338) -2019-06-05T22:41 [INFO][MEMORY] IndexTreeDic.flushOnDisk 157,627 (IndexTreeDic.java:517) -2019-06-05T22:41 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@654f0d9c (Table.java:338) -2019-06-05T22:41 [INFO][MEMORY] IndexTreeDic.flushOnDisk 157,627 (IndexTreeDic.java:517) -2019-06-05T22:41 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@6a400542 (Table.java:338) -2019-06-05T22:41 [INFO][MEMORY] IndexTreeDic.flushOnDisk 158,139 (IndexTreeDic.java:517) -2019-06-05T22:41 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@6580cfdd (Table.java:338) -2019-06-05T22:41 [ERROR] SerialStructure.writeStructure : impossible de sauvegarder la structure du disque. (SerialStructure.java:56) -2019-06-05T22:41 [ERROR] java.nio.HeapByteBuffer (SerialStructure.java:57) -2019-06-05T22:41 [ERROR] SerialStructure.loadStructure : impossible de charger la structure du disque. (SerialStructure.java:73) -2019-06-05T22:41 [ERROR] null (SerialStructure.java:74) -2019-06-05T22:41 [INFO] Lancé (IndexTreeMessyTest.java:366) -2019-06-05T22:41 [INFO][TIMER] tempsPrisPourRecherchesSurFichiers: 50 millis (IndexTreeDic.java:1164) -2019-06-05T22:41 [INFO][TIMER] Temps total recherche: 0.058 s (IndexTreeMessyTest.java:408) -2019-06-05T22:41 [INFO][TIMER] Temps parcours des résultats: 1.04 millis (IndexTreeMessyTest.java:416) -2019-06-05T22:41 [INFO] Nombre de résultats = 3116 (IndexTreeMessyTest.java:417) -2019-06-05T22:41 [INFO][TIMER] tempsPrisPourRecherchesSurFichiers: 8 millis (IndexTreeDic.java:1164) -2019-06-05T22:41 [INFO][TIMER] Temps total recherche: 8.60 millis (IndexTreeMessyTest.java:425) -2019-06-05T22:41 [INFO][TIMER] 1Temps d'acquisition des résultats (chargement du disque de tous les champs): 0.122 s (IndexTreeMessyTest.java:439) -2019-06-05T22:41 [INFO][TIMER] 2Temps d'acquisition des résultats certains champs seulement: 0.072 s (IndexTreeMessyTest.java:449) -2019-06-05T22:41 [INFO] Nombre de résultats = 700 (IndexTreeMessyTest.java:450) -2019-06-05T22:41 [INFO][TIMER] tempsPrisPourRecherchesSurFichiers: 22 millis (IndexTreeDic.java:1164) -2019-06-05T22:41 [INFO] Nombre de résultats (pour 18 exact) = 116 (IndexTreeMessyTest.java:456) -2019-06-05T22:41 [INFO] 40 (HashMapTests.java:27) -2019-06-05T22:41 [INFO][MEMORY] Mem usage début - 88,230 (ParallelLoaderTest.java:56) -2019-06-05T22:41 [INFO] Parsing de csvName = testdata/SMALL_100_000_yellow_tripdata_2015-04.csv (ParallelLoaderTest.java:64) -2019-06-05T22:41 [INFO] PARSE : memusage init = (ParallelLoader.java:112) -2019-06-05T22:41 [INFO][MEMORY] 90,316 (ParallelLoader.java:114) -2019-06-05T22:41 [INFO] Loader : nombre de résultats (total) lus = 300000 temps écoulé = 0.068 sactiveThreadNb = 0 (ParallelLoader.java:150) -2019-06-05T22:41 [ERROR] debugCount = 0 (ParallelLoader.java:203) -2019-06-05T22:41 [WARNING] Fail
\ No newline at end of file diff --git a/repo/testdata/repo_8k/00000/chunks/000000000000008 b/repo/testdata/repo_8k/00000/chunks/000000000000008 deleted file mode 100644 index 5995b3c..0000000 --- a/repo/testdata/repo_8k/00000/chunks/000000000000008 +++ /dev/null @@ -1,87 +0,0 @@ -to save entry number 0: incorrect data (ParallelLoaderRunnable.java:287) -2019-06-05T22:41 [INFO] Parsing terminé !! temps écoulé = 1.09 s (ParallelLoader.java:217) -2019-06-05T22:41 [INFO] PARSE : Nombre de lignes (local) = 100000 (ParallelLoader.java:218) -2019-06-05T22:41 [INFO] Parsing de csvName = testdata/SMALL_100_000_yellow_tripdata_2015-04.csv (ParallelLoaderTest.java:64) -2019-06-05T22:41 [INFO] PARSE : memusage init = (ParallelLoader.java:112) -2019-06-05T22:41 [INFO][MEMORY] 415,931 (ParallelLoader.java:114) -2019-06-05T22:41 [INFO] Loader : nombre de résultats (total) lus = 400000 temps écoulé = 0.070 sactiveThreadNb = 0 (ParallelLoader.java:150) -2019-06-05T22:41 [ERROR] debugCount = 0 (ParallelLoader.java:203) -2019-06-05T22:41 [WARNING] Fail to save entry number 0: incorrect data (ParallelLoaderRunnable.java:287) -2019-06-05T22:41 [INFO] Parsing terminé !! temps écoulé = 0.968 s (ParallelLoader.java:217) -2019-06-05T22:41 [INFO] PARSE : Nombre de lignes (local) = 100000 (ParallelLoader.java:218) -2019-06-05T22:41 [INFO][MEMORY] Mem usage fin - 189,494 (ParallelLoaderTest.java:113) -2019-06-05T22:41 [INFO][TIMER] TEMPS TOTAL PRIS PAR TOUS LES PARSINGS: 2.17 s (ParallelLoaderTest.java:114) -2019-06-05T23:02 [INFO] Parsing de csvName = testdata/SMALL_100_000_yellow_tripdata_2015-04.csv (IndexMemDicStorageTests.java:180) -2019-06-05T23:02 [INFO] PARSE : memusage init = (ParallelLoader.java:112) -2019-06-05T23:02 [INFO][MEMORY] 12,404 (ParallelLoader.java:114) -2019-06-05T23:02 [INFO] Loader : nombre de résultats (total) lus = 100000 temps écoulé = 0.154 sactiveThreadNb = 0 (ParallelLoader.java:150) -2019-06-05T23:02 [WARNING] Fail to save entry number 0: incorrect data (ParallelLoaderRunnable.java:287) -2019-06-05T23:02 [INFO] Parsing terminé !! temps écoulé = 1.61 s (ParallelLoader.java:217) -2019-06-05T23:02 [INFO] PARSE : Nombre de lignes (local) = 100000 (ParallelLoader.java:218) -2019-06-05T23:02 [INFO][TIMER] TEMPS TOTAL PRIS PAR TOUS LES PARSINGS: 1.62 s (IndexMemDicStorageTests.java:183) -2019-06-05T23:02 [INFO] totalLength = 99999 (IndexMemDic.java:217) -2019-06-05T23:02 [INFO][TIMER] Temps pris pour classer la 1ère fois: 0.266 s (IndexMemDicStorageTests.java:83) -2019-06-05T23:02 [INFO] totalLength = 99999 (IndexMemDic.java:217) -2019-06-05T23:02 [INFO][TIMER] Temps pris pour classer la 2ème fois: 0.188 s (IndexMemDicStorageTests.java:86) -2019-06-05T23:02 [INFO] Recherche A OK ! Nb résultats selon A : 263 (IndexMemDicStorageTests.java:108) -2019-06-05T23:02 [INFO] Recherche B OK ! Nb résultats selon B : 263 (IndexMemDicStorageTests.java:111) -2019-06-05T23:02 [INFO] Recherche C OK ! Nb résultats selon C : 263 (IndexMemDicStorageTests.java:114) -2019-06-05T23:02 [INFO] resultsPositionsArray.length = 263 (IndexMemDicStorageTests.java:117) -2019-06-05T23:02 [INFO] Parsing de csvName = testdata/SMALL_100_000_yellow_tripdata_2015-04.csv (NewLoaderAndIndexTest.java:170) -2019-06-05T23:02 [INFO] PARSE : memusage init = (ParallelLoader.java:112) -2019-06-05T23:02 [INFO][MEMORY] 103,147 (ParallelLoader.java:114) -2019-06-05T23:02 [INFO] Loader : nombre de résultats (total) lus = 200000 temps écoulé = 0.174 sactiveThreadNb = 0 (ParallelLoader.java:150) -2019-06-05T23:02 [WARNING] Fail to save entry number 0: incorrect data (ParallelLoaderRunnable.java:287) -2019-06-05T23:02 [INFO] Parsing terminé !! temps écoulé = 1.01 s (ParallelLoader.java:217) -2019-06-05T23:02 [INFO] PARSE : Nombre de lignes (local) = 100000 (ParallelLoader.java:218) -2019-06-05T23:02 [INFO][TIMER] TEMPS TOTAL PRIS PAR TOUS LES PARSINGS: 1.02 s (NewLoaderAndIndexTest.java:189) -2019-06-05T23:02 [INFO] Bon nombre total de lignes ! nombre = 99999 (NewLoaderAndIndexTest.java:193) -2019-06-05T23:02 [INFO] totalLength = 99999 (IndexMemDic.java:217) -2019-06-05T23:02 [INFO] Recherche A OK ! Nb résultats selon A : 263 (NewLoaderAndIndexTest.java:71) -2019-06-05T23:02 [INFO] Recherche B OK ! Nb résultats selon B : 263 (NewLoaderAndIndexTest.java:74) -2019-06-05T23:02 [INFO] Recherche C OK ! Nb résultats selon C : 263 (NewLoaderAndIndexTest.java:77) -2019-06-05T23:02 [INFO] resultsPositionsArray.length = 263 (NewLoaderAndIndexTest.java:80) -2019-06-05T23:02 [INFO] Recherche FLAG OK ! Nb résultats avec FLAG : 175 index len = 99999 (NewLoaderAndIndexTest.java:101) -2019-06-05T23:02 [INFO] totalLength = 66666 (IndexMemDic.java:217) -2019-06-05T23:02 [INFO] Recherche STRUCT OK ! Nb résultats avec restructuration : 175 index len = 99999 (NewLoaderAndIndexTest.java:109) -2019-06-05T23:02 [INFO] setUpBeforeAll (IndexTreeMessyTest.java:73) -2019-06-05T23:02 [INFO] Nombre de résultats/entrées parsés INIT : 0 (IndexTreeMessyTest.java:186) -2019-06-05T23:02 [WARNING] Fail to save entry number 0: incorrect data (Loader.java:107) -2019-06-05T23:02 [INFO] Loader : nombre de résultats (local) parsés = 0 temps écoulé = 0.57 millis (Loader.java:116) -2019-06-05T23:02 [INFO][MEMORY] 223,892 (Loader.java:117) -2019-06-05T23:02 [WARNING] Fail to save entry number 0: incorrect data (Loader.java:107) -2019-06-05T23:02 [WARNING] Fail to save entry number 0: incorrect data (Loader.java:107) -2019-06-05T23:02 [INFO] Loader : nombre de résultats (local) parsés = 0 temps écoulé = 2.56 millis (Loader.java:116) -2019-06-05T23:02 [WARNING] Fail to save entry number 0: incorrect data (Loader.java:107) -2019-06-05T23:02 [INFO] Loader : nombre de résultats (local) parsés = 0 temps écoulé = 2.00 millis (Loader.java:116) -2019-06-05T23:02 [INFO] Loader : nombre de résultats (local) parsés = 0 temps écoulé = 4.58 millis (Loader.java:116) -2019-06-05T23:02 [INFO][MEMORY] 200,186 (Loader.java:117) -2019-06-05T23:02 [INFO][MEMORY] 200,186 (Loader.java:117) -2019-06-05T23:02 [INFO][MEMORY] 200,186 (Loader.java:117) -2019-06-05T23:02 [INFO] PARSE : FINAL USAGE (Loader.java:136) -2019-06-05T23:02 [INFO][MEMORY] 155,525 (Loader.java:138) -2019-06-05T23:02 [INFO] PARSE : FINAL USAGE (Loader.java:136) -2019-06-05T23:02 [INFO][MEMORY] 155,474 (Loader.java:138) -2019-06-05T23:02 [INFO] PARSE : FINAL USAGE (Loader.java:136) -2019-06-05T23:02 [INFO][MEMORY] 156,042 (Loader.java:138) -2019-06-05T23:02 [INFO] PARSE : FINAL USAGE (Loader.java:136) -2019-06-05T23:02 [INFO][MEMORY] 155,626 (Loader.java:138) -2019-06-05T23:02 [INFO][TIMER] TEMPS TOTAL pris par le parsing: 6.03 s (IndexTreeMessyTest.java:314) -2019-06-05T23:02 [INFO] setUpBeforeAll OK (IndexTreeMessyTest.java:322) -2019-06-05T23:02 [DEBUG] TableHandler.flushAllIndexOnDisk : size = 15 (Table.java:334) -2019-06-05T23:02 [INFO][MEMORY] IndexTreeDic.flushOnDisk 156,650 (IndexTreeDic.java:517) -2019-06-05T23:02 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@659a969b (Table.java:338) -2019-06-05T23:02 [INFO][MEMORY] IndexTreeDic.flushOnDisk 157,038 (IndexTreeDic.java:517) -2019-06-05T23:02 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@76908cc0 (Table.java:338) -2019-06-05T23:02 [INFO][MEMORY] IndexTreeDic.flushOnDisk 157,414 (IndexTreeDic.java:517) -2019-06-05T23:02 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@2473d930 (Table.java:338) -2019-06-05T23:02 [INFO][MEMORY] IndexTreeDic.flushOnDisk 157,414 (IndexTreeDic.java:517) -2019-06-05T23:02 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@35047d03 (Table.java:338) -2019-06-05T23:02 [INFO][MEMORY] IndexTreeDic.flushOnDisk 157,464 (IndexTreeDic.java:517) -2019-06-05T23:02 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@49b0b76 (Table.java:338) -2019-06-05T23:02 [INFO][MEMORY] IndexTreeDic.flushOnDisk 157,674 (IndexTreeDic.java:517) -2019-06-05T23:02 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@769f71a9 (Table.java:338) -2019-06-05T23:02 [INFO][MEMORY] IndexTreeDic.flushOnDisk 157,674 (IndexTreeDic.java:517) -2019-06-05T23:02 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@4c9f8c13 (Table.java:338) -2019-06-05T23:02 [INFO][MEMORY] IndexTreeDic.flushOnDisk 158,194 (IndexTreeDic.java:517) -2019-06-05T23:02 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTree
\ No newline at end of file diff --git a/repo/testdata/repo_8k/00000/chunks/000000000000009 b/repo/testdata/repo_8k/00000/chunks/000000000000009 deleted file mode 100644 index 8a0d0af..0000000 --- a/repo/testdata/repo_8k/00000/chunks/000000000000009 +++ /dev/null @@ -1,88 +0,0 @@ -Dic@5ae50ce6 (Table.java:338) -2019-06-05T23:02 [INFO][MEMORY] IndexTreeDic.flushOnDisk 158,194 (IndexTreeDic.java:517) -2019-06-05T23:02 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@6f96c77 (Table.java:338) -2019-06-05T23:02 [INFO][MEMORY] IndexTreeDic.flushOnDisk 158,194 (IndexTreeDic.java:517) -2019-06-05T23:02 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@be64738 (Table.java:338) -2019-06-05T23:02 [INFO][MEMORY] IndexTreeDic.flushOnDisk 158,194 (IndexTreeDic.java:517) -2019-06-05T23:02 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@3ba9ad43 (Table.java:338) -2019-06-05T23:02 [INFO][MEMORY] IndexTreeDic.flushOnDisk 158,194 (IndexTreeDic.java:517) -2019-06-05T23:02 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@49d904ec (Table.java:338) -2019-06-05T23:02 [INFO][MEMORY] IndexTreeDic.flushOnDisk 158,194 (IndexTreeDic.java:517) -2019-06-05T23:02 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@48e4374 (Table.java:338) -2019-06-05T23:02 [INFO][MEMORY] IndexTreeDic.flushOnDisk 158,194 (IndexTreeDic.java:517) -2019-06-05T23:02 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@3d680b5a (Table.java:338) -2019-06-05T23:02 [INFO][MEMORY] IndexTreeDic.flushOnDisk 158,194 (IndexTreeDic.java:517) -2019-06-05T23:02 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@4b5d6a01 (Table.java:338) -2019-06-05T23:02 [ERROR] SerialStructure.writeStructure : impossible de sauvegarder la structure du disque. (SerialStructure.java:56) -2019-06-05T23:02 [ERROR] java.nio.HeapByteBuffer (SerialStructure.java:57) -2019-06-05T23:02 [ERROR] SerialStructure.loadStructure : impossible de charger la structure du disque. (SerialStructure.java:73) -2019-06-05T23:02 [ERROR] null (SerialStructure.java:74) -2019-06-05T23:02 [INFO] Lancé (IndexTreeMessyTest.java:366) -2019-06-05T23:02 [INFO][TIMER] tempsPrisPourRecherchesSurFichiers: 43 millis (IndexTreeDic.java:1164) -2019-06-05T23:02 [INFO][TIMER] Temps total recherche: 0.051 s (IndexTreeMessyTest.java:408) -2019-06-05T23:02 [INFO][TIMER] Temps parcours des résultats: 0.73 millis (IndexTreeMessyTest.java:416) -2019-06-05T23:02 [INFO] Nombre de résultats = 3116 (IndexTreeMessyTest.java:417) -2019-06-05T23:02 [INFO][TIMER] tempsPrisPourRecherchesSurFichiers: 6 millis (IndexTreeDic.java:1164) -2019-06-05T23:02 [INFO][TIMER] Temps total recherche: 6.60 millis (IndexTreeMessyTest.java:425) -2019-06-05T23:02 [INFO][TIMER] 1Temps d'acquisition des résultats (chargement du disque de tous les champs): 0.096 s (IndexTreeMessyTest.java:439) -2019-06-05T23:02 [INFO][TIMER] 2Temps d'acquisition des résultats certains champs seulement: 0.069 s (IndexTreeMessyTest.java:449) -2019-06-05T23:02 [INFO] Nombre de résultats = 700 (IndexTreeMessyTest.java:450) -2019-06-05T23:02 [INFO][TIMER] tempsPrisPourRecherchesSurFichiers: 10 millis (IndexTreeDic.java:1164) -2019-06-05T23:02 [INFO] Nombre de résultats (pour 18 exact) = 116 (IndexTreeMessyTest.java:456) -2019-06-05T23:02 [INFO] 40 (HashMapTests.java:27) -2019-06-05T23:02 [INFO][MEMORY] Mem usage début - 88,284 (ParallelLoaderTest.java:56) -2019-06-05T23:02 [INFO] Parsing de csvName = testdata/SMALL_100_000_yellow_tripdata_2015-04.csv (ParallelLoaderTest.java:65) -2019-06-05T23:02 [INFO] PARSE : memusage init = (ParallelLoader.java:112) -2019-06-05T23:02 [INFO][MEMORY] 90,332 (ParallelLoader.java:114) -2019-06-05T23:02 [INFO] Loader : nombre de résultats (total) lus = 300000 temps écoulé = 0.051 sactiveThreadNb = 0 (ParallelLoader.java:150) -2019-06-05T23:02 [WARNING] Fail to save entry number 0: incorrect data (ParallelLoaderRunnable.java:287) -2019-06-05T23:02 [INFO] Parsing terminé !! temps écoulé = 1.11 s (ParallelLoader.java:217) -2019-06-05T23:02 [INFO] PARSE : Nombre de lignes (local) = 100000 (ParallelLoader.java:218) -2019-06-05T23:02 [INFO] Parsing de csvName = testdata/SMALL_100_000_yellow_tripdata_2015-04.csv (ParallelLoaderTest.java:65) -2019-06-05T23:02 [INFO] PARSE : memusage init = (ParallelLoader.java:112) -2019-06-05T23:02 [INFO][MEMORY] 275,258 (ParallelLoader.java:114) -2019-06-05T23:02 [INFO] Loader : nombre de résultats (total) lus = 400000 temps écoulé = 0.076 sactiveThreadNb = 0 (ParallelLoader.java:150) -2019-06-05T23:02 [WARNING] Fail to save entry number 0: incorrect data (ParallelLoaderRunnable.java:287) -2019-06-05T23:02 [INFO] Parsing terminé !! temps écoulé = 0.696 s (ParallelLoader.java:217) -2019-06-05T23:02 [INFO] PARSE : Nombre de lignes (local) = 100000 (ParallelLoader.java:218) -2019-06-05T23:02 [INFO][MEMORY] Mem usage fin - 189,551 (ParallelLoaderTest.java:114) -2019-06-05T23:02 [INFO][TIMER] TEMPS TOTAL PRIS PAR TOUS LES PARSINGS: 1.87 s (ParallelLoaderTest.java:115) -2019-06-10T20:19 [ERROR] config.json (No such file or directory) (Database.java:33) -2019-06-10T20:19 [INFO] setUpBeforeAll (IndexTreeMessyTest.java:73) -2019-06-10T20:19 [INFO] Nombre de résultats/entrées parsés INIT : 0 (IndexTreeMessyTest.java:186) -2019-06-10T20:19 [WARNING] Fail to save entry number 0: incorrect data (Loader.java:107) -2019-06-10T20:19 [WARNING] Fail to save entry number 0: incorrect data (Loader.java:107) -2019-06-10T20:19 [INFO] Loader : nombre de résultats (local) parsés = 0 temps écoulé = 1.37 millis (Loader.java:116) -2019-06-10T20:19 [WARNING] Fail to save entry number 0: incorrect data (Loader.java:107) -2019-06-10T20:19 [INFO] Loader : nombre de résultats (local) parsés = 0 temps écoulé = 2.93 millis (Loader.java:116) -2019-06-10T20:19 [WARNING] Fail to save entry number 0: incorrect data (Loader.java:107) -2019-06-10T20:19 [INFO] Loader : nombre de résultats (local) parsés = 0 temps écoulé = 2.37 millis (Loader.java:116) -2019-06-10T20:19 [INFO][MEMORY] 10,178 (Loader.java:117) -2019-06-10T20:19 [INFO] Loader : nombre de résultats (local) parsés = 0 temps écoulé = 0.010 s (Loader.java:116) -2019-06-10T20:19 [INFO][MEMORY] 10,178 (Loader.java:117) -2019-06-10T20:19 [INFO][MEMORY] 19,394 (Loader.java:117) -2019-06-10T20:19 [INFO][MEMORY] 19,394 (Loader.java:117) -2019-06-10T20:19 [INFO] PARSE : FINAL USAGE (Loader.java:136) -2019-06-10T20:19 [INFO][MEMORY] 150,062 (Loader.java:138) -2019-06-10T20:19 [INFO] PARSE : FINAL USAGE (Loader.java:136) -2019-06-10T20:19 [INFO][MEMORY] 150,767 (Loader.java:138) -2019-06-10T20:19 [INFO] PARSE : FINAL USAGE (Loader.java:136) -2019-06-10T20:19 [INFO][MEMORY] 150,245 (Loader.java:138) -2019-06-10T20:19 [INFO] PARSE : FINAL USAGE (Loader.java:136) -2019-06-10T20:19 [INFO][MEMORY] 150,333 (Loader.java:138) -2019-06-10T20:19 [INFO][TIMER] TEMPS TOTAL pris par le parsing: 5.79 s (IndexTreeMessyTest.java:314) -2019-06-10T20:19 [INFO] setUpBeforeAll OK (IndexTreeMessyTest.java:322) -2019-06-10T20:19 [DEBUG] TableHandler.flushAllIndexOnDisk : size = 15 (Table.java:334) -2019-06-10T20:19 [INFO][MEMORY] IndexTreeDic.flushOnDisk 151,359 (IndexTreeDic.java:517) -2019-06-10T20:19 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@1b083826 (Table.java:338) -2019-06-10T20:19 [INFO][MEMORY] IndexTreeDic.flushOnDisk 151,871 (IndexTreeDic.java:517) -2019-06-10T20:19 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@105fece7 (Table.java:338) -2019-06-10T20:19 [INFO][MEMORY] IndexTreeDic.flushOnDisk 151,871 (IndexTreeDic.java:517) -2019-06-10T20:19 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@3ec300f1 (Table.java:338) -2019-06-10T20:19 [INFO][MEMORY] IndexTreeDic.flushOnDisk 152,381 (IndexTreeDic.java:517) -2019-06-10T20:19 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@482cd91f (Table.java:338) -2019-06-10T20:19 [INFO][MEMORY] IndexTreeDic.flushOnDisk 152,381 (IndexTreeDic.java:517) -2019-06-10T20:19 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@123f1134 (Table.java:338) -2019-06-10T20:34 [ERROR] config.json (No such file or directory) (Database.java:33) -2019-06-10T20:34 [INFO] setUpBeforeAll (IndexTreeMessyTest.java:73) -2019-06-10T20:34 [INFO] Nombre de résultats/
\ No newline at end of file diff --git a/repo/testdata/repo_8k/00000/chunks/000000000000010 b/repo/testdata/repo_8k/00000/chunks/000000000000010 deleted file mode 100644 index 97a481a..0000000 --- a/repo/testdata/repo_8k/00000/chunks/000000000000010 +++ /dev/null @@ -1,88 +0,0 @@ -entrées parsés INIT : 0 (IndexTreeMessyTest.java:186) -2019-06-10T20:34 [WARNING] Fail to save entry number 0: incorrect data (Loader.java:107) -2019-06-10T20:34 [INFO] Loader : nombre de résultats (local) parsés = 0 temps écoulé = 1.70 millis (Loader.java:116) -2019-06-10T20:34 [INFO][MEMORY] 9,153 (Loader.java:117) -2019-06-10T20:34 [WARNING] Fail to save entry number 0: incorrect data (Loader.java:107) -2019-06-10T20:34 [INFO] Loader : nombre de résultats (local) parsés = 0 temps écoulé = 1.74 millis (Loader.java:116) -2019-06-10T20:34 [INFO][MEMORY] 14,616 (Loader.java:117) -2019-06-10T20:34 [WARNING] Fail to save entry number 0: incorrect data (Loader.java:107) -2019-06-10T20:34 [INFO] Loader : nombre de résultats (local) parsés = 0 temps écoulé = 1.42 millis (Loader.java:116) -2019-06-10T20:34 [INFO][MEMORY] 20,072 (Loader.java:117) -2019-06-10T20:34 [WARNING] Fail to save entry number 0: incorrect data (Loader.java:107) -2019-06-10T20:34 [INFO] Loader : nombre de résultats (local) parsés = 0 temps écoulé = 4.10 millis (Loader.java:116) -2019-06-10T20:34 [INFO][MEMORY] 32,705 (Loader.java:117) -2019-06-10T20:34 [INFO] PARSE : FINAL USAGE (Loader.java:136) -2019-06-10T20:34 [INFO][MEMORY] 149,780 (Loader.java:138) -2019-06-10T20:34 [INFO] PARSE : FINAL USAGE (Loader.java:136) -2019-06-10T20:34 [INFO][MEMORY] 150,170 (Loader.java:138) -2019-06-10T20:34 [INFO] PARSE : FINAL USAGE (Loader.java:136) -2019-06-10T20:34 [INFO][MEMORY] 150,367 (Loader.java:138) -2019-06-10T20:34 [INFO] PARSE : FINAL USAGE (Loader.java:136) -2019-06-10T20:34 [INFO][MEMORY] 150,299 (Loader.java:138) -2019-06-10T20:34 [INFO][TIMER] TEMPS TOTAL pris par le parsing: 6.04 s (IndexTreeMessyTest.java:314) -2019-06-10T20:34 [INFO] setUpBeforeAll OK (IndexTreeMessyTest.java:322) -2019-06-10T20:34 [DEBUG] TableHandler.flushAllIndexOnDisk : size = 15 (Table.java:334) -2019-06-10T20:34 [INFO][MEMORY] IndexTreeDic.flushOnDisk 151,323 (IndexTreeDic.java:517) -2019-06-10T20:34 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@7d68ef40 (Table.java:338) -2019-06-10T20:34 [INFO][MEMORY] IndexTreeDic.flushOnDisk 151,323 (IndexTreeDic.java:517) -2019-06-10T20:34 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@5b0abc94 (Table.java:338) -2019-06-10T20:34 [INFO][MEMORY] IndexTreeDic.flushOnDisk 151,699 (IndexTreeDic.java:517) -2019-06-10T20:34 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@75c072cb (Table.java:338) -2019-06-10T20:34 [INFO][MEMORY] IndexTreeDic.flushOnDisk 151,699 (IndexTreeDic.java:517) -2019-06-10T20:34 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@1f1c7bf6 (Table.java:338) -2019-06-10T20:34 [INFO][MEMORY] IndexTreeDic.flushOnDisk 151,748 (IndexTreeDic.java:517) -2019-06-10T20:34 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@25b485ba (Table.java:338) -2019-06-10T20:34 [INFO][MEMORY] IndexTreeDic.flushOnDisk 152,260 (IndexTreeDic.java:517) -2019-06-10T20:34 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@2b546384 (Table.java:338) -2019-06-10T20:34 [INFO][MEMORY] IndexTreeDic.flushOnDisk 152,260 (IndexTreeDic.java:517) -2019-06-10T20:34 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@5d740a0f (Table.java:338) -2019-06-10T20:34 [INFO][MEMORY] IndexTreeDic.flushOnDisk 152,260 (IndexTreeDic.java:517) -2019-06-10T20:34 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@214b199c (Table.java:338) -2019-06-10T20:34 [INFO][MEMORY] IndexTreeDic.flushOnDisk 152,260 (IndexTreeDic.java:517) -2019-06-10T20:34 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@20d3d15a (Table.java:338) -2019-06-10T20:34 [INFO][MEMORY] IndexTreeDic.flushOnDisk 152,349 (IndexTreeDic.java:517) -2019-06-10T20:34 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@2893de87 (Table.java:338) -2019-06-10T20:34 [INFO][MEMORY] IndexTreeDic.flushOnDisk 152,861 (IndexTreeDic.java:517) -2019-06-10T20:34 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@55ca8de8 (Table.java:338) -2019-06-10T20:34 [INFO][MEMORY] IndexTreeDic.flushOnDisk 152,861 (IndexTreeDic.java:517) -2019-06-10T20:34 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@2c34f934 (Table.java:338) -2019-06-10T20:34 [INFO][MEMORY] IndexTreeDic.flushOnDisk 152,861 (IndexTreeDic.java:517) -2019-06-10T20:34 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@12d3a4e9 (Table.java:338) -2019-06-10T20:34 [INFO][MEMORY] IndexTreeDic.flushOnDisk 152,861 (IndexTreeDic.java:517) -2019-06-10T20:34 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@240237d2 (Table.java:338) -2019-06-10T20:34 [INFO][MEMORY] IndexTreeDic.flushOnDisk 152,861 (IndexTreeDic.java:517) -2019-06-10T20:34 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@25a65b77 (Table.java:338) -2019-06-10T20:34 [ERROR] SerialStructure.writeStructure : impossible de sauvegarder la structure du disque. (SerialStructure.java:56) -2019-06-10T20:34 [ERROR] java.nio.HeapByteBuffer (SerialStructure.java:57) -2019-06-10T20:34 [ERROR] SerialStructure.loadStructure : impossible de charger la structure du disque. (SerialStructure.java:73) -2019-06-10T20:34 [ERROR] null (SerialStructure.java:74) -2019-06-10T20:34 [INFO] Lancé (IndexTreeMessyTest.java:366) -2019-06-10T20:34 [INFO][TIMER] tempsPrisPourRecherchesSurFichiers: 44 millis (IndexTreeDic.java:1164) -2019-06-10T20:34 [INFO][TIMER] Temps total recherche: 0.053 s (IndexTreeMessyTest.java:408) -2019-06-10T20:34 [INFO][TIMER] Temps parcours des résultats: 1.23 millis (IndexTreeMessyTest.java:416) -2019-06-10T20:34 [INFO] Nombre de résultats = 3116 (IndexTreeMessyTest.java:417) -2019-06-10T20:34 [INFO][TIMER] tempsPrisPourRecherchesSurFichiers: 14 millis (IndexTreeDic.java:1164) -2019-06-10T20:34 [INFO][TIMER] Temps total recherche: 0.015 s (IndexTreeMessyTest.java:425) -2019-06-10T20:34 [INFO][TIMER] 1Temps d'acquisition des résultats (chargement du disque de tous les champs): 0.119 s (IndexTreeMessyTest.java:439) -2019-06-10T20:34 [INFO][TIMER] 2Temps d'acquisition des résultats certains champs seulement: 0.045 s (IndexTreeMessyTest.java:449) -2019-06-10T20:34 [INFO] Nombre de résultats = 700 (IndexTreeMessyTest.java:450) -2019-06-10T20:34 [INFO][TIMER] tempsPrisPourRecherchesSurFichiers: 2 millis (IndexTreeDic.java:1164) -2019-06-10T20:34 [INFO] Nombre de résultats (pour 18 exact) = 116 (IndexTreeMessyTest.java:456) -2019-06-10T20:34 [INFO] 40 (HashMapTests.java:27) -2019-06-10T20:34 [INFO][MEMORY] Mem usage début - 82,958 (ParallelLoaderTest.java:56) -2019-06-10T20:49 [ERROR] config.json (No such file or directory) (Database.java:33) -2019-06-10T20:49 [INFO] setUpBeforeAll (IndexTreeMessyTest.java:73) -2019-06-10T20:49 [INFO] Nombre de résultats/entrées parsés INIT : 0 (IndexTreeMessyTest.java:186) -2019-06-10T20:49 [WARNING] Fail to save entry number 0: incorrect data (Loader.java:107) -2019-06-10T20:49 [INFO] Loader : nombre de résultats (local) parsés = 0 temps écoulé = 1.20 millis (Loader.java:116) -2019-06-10T20:49 [WARNING] Fail to save entry number 0: incorrect data (Loader.java:107) -2019-06-10T20:49 [INFO] Loader : nombre de résultats (local) parsés = 0 temps écoulé = 2.69 millis (Loader.java:116) -2019-06-10T20:49 [INFO][MEMORY] 9,820 (Loader.java:117) -2019-06-10T20:49 [INFO][MEMORY] 9,820 (Loader.java:117) -2019-06-10T20:49 [WARNING] Fail to save entry number 0: incorrect data (Loader.java:107) -2019-06-10T20:49 [INFO] Loader : nombre de résultats (local) parsés = 0 temps écoulé = 1.41 millis (Loader.java:116) -2019-06-10T20:49 [INFO][MEMORY] 19,381 (Loader.java:117) -2019-06-10T20:49 [WARNING] Fail to save entry number 0: incorrect data (Loader.java:107) -2019-06-10T20:49 [INFO] Loader : nombre de résultats (local) parsés = 0 temps écoulé = 1.16 millis (Loader.java:116) -2019-06-10T20:49 [INFO][MEMORY] 24,844 (Loader.java:117) -2019-06-10T20:50 [INFO] PARSE : FINAL USAGE (Loader.jav
\ No newline at end of file diff --git a/repo/testdata/repo_8k/00000/chunks/000000000000011 b/repo/testdata/repo_8k/00000/chunks/000000000000011 deleted file mode 100644 index 5a30329..0000000 --- a/repo/testdata/repo_8k/00000/chunks/000000000000011 +++ /dev/null @@ -1,87 +0,0 @@ -va:217) -2019-06-10T20:51 [INFO] Recherche A OK ! Nb résultats selon A : 263 (NewLoaderAndIndexTest.java:71) -2019-06-10T20:51 [INFO] Recherche B OK ! Nb résultats selon B : 263 (NewLoaderAndIndexTest.java:74) -2019-06-10T20:51 [INFO] Recherche C OK ! Nb résultats selon C : 263 (NewLoaderAndIndexTest.java:77) -2019-06-10T20:51 [INFO] resultsPositionsArray.length = 263 (NewLoaderAndIndexTest.java:80) -2019-06-10T20:51 [INFO] Recherche FLAG OK ! Nb résultats avec FLAG : 175 index len = 99999 (NewLoaderAndIndexTest.java:101) -2019-06-10T20:51 [INFO] totalLength = 66666 (IndexMemDic.java:217) -2019-06-10T20:51 [INFO] Recherche STRUCT OK ! Nb résultats avec restructuration : 175 index len = 99999 (NewLoaderAndIndexTest.java:109) -2019-06-10T20:51 [INFO] setUpBeforeAll (IndexTreeMessyTest.java:73) -2019-06-10T20:51 [INFO] Nombre de résultats/entrées parsés INIT : 0 (IndexTreeMessyTest.java:186) -2019-06-10T20:51 [WARNING] Fail to save entry number 0: incorrect data (Loader.java:107) -2019-06-10T20:51 [INFO] Loader : nombre de résultats (local) parsés = 0 temps écoulé = 2.67 millis (Loader.java:116) -2019-06-10T20:51 [WARNING] Fail to save entry number 0: incorrect data (Loader.java:107) -2019-06-10T20:51 [INFO] Loader : nombre de résultats (local) parsés = 0 temps écoulé = 2.13 millis (Loader.java:116) -2019-06-10T20:51 [INFO][MEMORY] 226,959 (Loader.java:117) -2019-06-10T20:51 [INFO][MEMORY] 226,959 (Loader.java:117) -2019-06-10T20:51 [WARNING] Fail to save entry number 0: incorrect data (Loader.java:107) -2019-06-10T20:51 [INFO] Loader : nombre de résultats (local) parsés = 0 temps écoulé = 2.14 millis (Loader.java:116) -2019-06-10T20:51 [INFO][MEMORY] 178,179 (Loader.java:117) -2019-06-10T20:51 [WARNING] Fail to save entry number 0: incorrect data (Loader.java:107) -2019-06-10T20:51 [INFO] Loader : nombre de résultats (local) parsés = 0 temps écoulé = 0.71 millis (Loader.java:116) -2019-06-10T20:51 [INFO][MEMORY] 199,412 (Loader.java:117) -2019-06-10T20:51 [INFO] PARSE : FINAL USAGE (Loader.java:136) -2019-06-10T20:51 [INFO][MEMORY] 155,755 (Loader.java:138) -2019-06-10T20:51 [INFO] PARSE : FINAL USAGE (Loader.java:136) -2019-06-10T20:51 [INFO][MEMORY] 155,569 (Loader.java:138) -2019-06-10T20:51 [INFO] PARSE : FINAL USAGE (Loader.java:136) -2019-06-10T20:51 [INFO][MEMORY] 156,154 (Loader.java:138) -2019-06-10T20:51 [INFO] PARSE : FINAL USAGE (Loader.java:136) -2019-06-10T20:51 [INFO][MEMORY] 155,614 (Loader.java:138) -2019-06-10T20:51 [INFO][TIMER] TEMPS TOTAL pris par le parsing: 4.79 s (IndexTreeMessyTest.java:314) -2019-06-10T20:51 [INFO] setUpBeforeAll OK (IndexTreeMessyTest.java:322) -2019-06-10T20:51 [DEBUG] TableHandler.flushAllIndexOnDisk : size = 15 (Table.java:334) -2019-06-10T20:51 [INFO][MEMORY] IndexTreeDic.flushOnDisk 156,638 (IndexTreeDic.java:517) -2019-06-10T20:51 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@7ce3cb8e (Table.java:338) -2019-06-10T20:51 [INFO][MEMORY] IndexTreeDic.flushOnDisk 156,638 (IndexTreeDic.java:517) -2019-06-10T20:51 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@78b66d36 (Table.java:338) -2019-06-10T20:51 [INFO][MEMORY] IndexTreeDic.flushOnDisk 157,014 (IndexTreeDic.java:517) -2019-06-10T20:51 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@5223e5ee (Table.java:338) -2019-06-10T20:51 [INFO][MEMORY] IndexTreeDic.flushOnDisk 157,014 (IndexTreeDic.java:517) -2019-06-10T20:51 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@bef2d72 (Table.java:338) -2019-06-10T20:51 [INFO][MEMORY] IndexTreeDic.flushOnDisk 157,063 (IndexTreeDic.java:517) -2019-06-10T20:51 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@69b2283a (Table.java:338) -2019-06-10T20:51 [INFO][MEMORY] IndexTreeDic.flushOnDisk 157,575 (IndexTreeDic.java:517) -2019-06-10T20:51 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@22a637e7 (Table.java:338) -2019-06-10T20:51 [INFO][MEMORY] IndexTreeDic.flushOnDisk 157,575 (IndexTreeDic.java:517) -2019-06-10T20:51 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@6fe7aac8 (Table.java:338) -2019-06-10T20:51 [INFO][MEMORY] IndexTreeDic.flushOnDisk 157,575 (IndexTreeDic.java:517) -2019-06-10T20:51 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@1d119efb (Table.java:338) -2019-06-10T20:51 [INFO][MEMORY] IndexTreeDic.flushOnDisk 157,575 (IndexTreeDic.java:517) -2019-06-10T20:51 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@659a969b (Table.java:338) -2019-06-10T20:51 [INFO][MEMORY] IndexTreeDic.flushOnDisk 157,662 (IndexTreeDic.java:517) -2019-06-10T20:51 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@76908cc0 (Table.java:338) -2019-06-10T20:51 [INFO][MEMORY] IndexTreeDic.flushOnDisk 158,182 (IndexTreeDic.java:517) -2019-06-10T20:51 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@2473d930 (Table.java:338) -2019-06-10T20:51 [INFO][MEMORY] IndexTreeDic.flushOnDisk 158,182 (IndexTreeDic.java:517) -2019-06-10T20:51 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@35047d03 (Table.java:338) -2019-06-10T20:51 [INFO][MEMORY] IndexTreeDic.flushOnDisk 158,182 (IndexTreeDic.java:517) -2019-06-10T20:51 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@49b0b76 (Table.java:338) -2019-06-10T20:51 [INFO][MEMORY] IndexTreeDic.flushOnDisk 158,182 (IndexTreeDic.java:517) -2019-06-10T20:51 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@769f71a9 (Table.java:338) -2019-06-10T20:51 [INFO][MEMORY] IndexTreeDic.flushOnDisk 158,182 (IndexTreeDic.java:517) -2019-06-10T20:51 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@4c9f8c13 (Table.java:338) -2019-06-10T20:51 [ERROR] SerialStructure.writeStructure : impossible de sauvegarder la structure du disque. (SerialStructure.java:56) -2019-06-10T20:51 [ERROR] java.nio.HeapByteBuffer (SerialStructure.java:57) -2019-06-10T20:51 [ERROR] SerialStructure.loadStructure : impossible de charger la structure du disque. (SerialStructure.java:73) -2019-06-10T20:51 [ERROR] null (SerialStructure.java:74) -2019-06-10T20:51 [INFO] Lancé (IndexTreeMessyTest.java:366) -2019-06-10T20:51 [INFO][TIMER] tempsPrisPourRecherchesSurFichiers: 41 millis (IndexTreeDic.java:1164) -2019-06-10T20:51 [INFO][TIMER] Temps total recherche: 0.049 s (IndexTreeMessyTest.java:408) -2019-06-10T20:51 [INFO][TIMER] Temps parcours des résultats: 1.53 millis (IndexTreeMessyTest.java:416) -2019-06-10T20:51 [INFO] Nombre de résultats = 3116 (IndexTreeMessyTest.java:417) -2019-06-10T20:51 [INFO][TIMER] tempsPrisPourRecherchesSurFichiers: 7 millis (IndexTreeDic.java:1164) -2019-06-10T20:51 [INFO][TIMER] Temps total recherche: 7.95 millis (IndexTreeMessyTest.java:425) -2019-06-10T20:51 [INFO][TIMER] 1Temps d'acquisition des résultats (chargement du disque de tous les champs): 0.079 s (IndexTreeMessyTest.java:439) -2019-06-10T20:51 [INFO][TIMER] 2Temps d'acquisition des résultats certains champs seulement: 0.049 s (IndexTreeMessyTest.java:449) -2019-06-10T20:51 [INFO] Nombre de résultats = 700 (IndexTreeMessyTest.java:450) -2019-06-10T20:51 [INFO][TIMER] tempsPrisPourRecherchesSurFichiers: 4 millis (IndexTreeDic.java:1164) -2019-06-10T20:51 [INFO] Nombre de résultats (pour 18 exact) = 116 (IndexTreeMessyTest.java:456) -2019-06-10T20:51 [INFO] 40 (HashMapTests.java:27) -2019-06-10T20:51 [INFO][MEMORY] Mem usage début - 88,271 (ParallelLoaderTest.java:56) -2019-06-10T20:51 [INFO] Parsing de csvName = testdata/SMALL_100_000_yellow_tripdata_2015-04.csv (ParallelLoaderTest.java:65) -2019-06-10T20:51 [INFO] PARSE : memusage init = (ParallelLoader.java:112) -2019-06-10T20:51 [INFO][MEMORY] 90,319 (ParallelLoader.java:114) -2019-06-10T20:51 [INFO] Loader : nombre de résultats (total) lus = 300000 temps écoulé = 0.042 sactiveThreadNb = 0 (ParallelLoader.java:150) -2019-06-10T20:51 [WARNING] Fail to save entry number 0: incorrect data (ParallelLoaderRunnable.java:287) -2019-06-10T20
\ No newline at end of file diff --git a/repo/testdata/repo_8k/00000/chunks/000000000000012 b/repo/testdata/repo_8k/00000/chunks/000000000000012 deleted file mode 100644 index 612b2ee..0000000 --- a/repo/testdata/repo_8k/00000/chunks/000000000000012 +++ /dev/null @@ -1,87 +0,0 @@ -:51 [INFO] Parsing terminé !! temps écoulé = 0.842 s (ParallelLoader.java:217) -2019-06-10T20:51 [INFO] PARSE : Nombre de lignes (local) = 100000 (ParallelLoader.java:218) -2019-06-10T20:51 [INFO] Parsing de csvName = testdata/SMALL_100_000_yellow_tripdata_2015-04.csv (ParallelLoaderTest.java:65) -2019-06-10T20:51 [INFO] PARSE : memusage init = (ParallelLoader.java:112) -2019-06-10T20:51 [INFO][MEMORY] 209,650 (ParallelLoader.java:114) -2019-06-10T20:51 [INFO] Loader : nombre de résultats (total) lus = 400000 temps écoulé = 0.056 sactiveThreadNb = 0 (ParallelLoader.java:150) -2019-06-10T20:51 [WARNING] Fail to save entry number 0: incorrect data (ParallelLoaderRunnable.java:287) -2019-06-10T20:51 [INFO] Parsing terminé !! temps écoulé = 0.637 s (ParallelLoader.java:217) -2019-06-10T20:51 [INFO] PARSE : Nombre de lignes (local) = 100000 (ParallelLoader.java:218) -2019-06-10T20:51 [INFO][MEMORY] Mem usage fin - 189,538 (ParallelLoaderTest.java:114) -2019-06-10T20:51 [INFO][TIMER] TEMPS TOTAL PRIS PAR TOUS LES PARSINGS: 1.55 s (ParallelLoaderTest.java:115) -2019-06-10T21:24 [INFO] Parsing de csvName = testdata/SMALL_100_000_yellow_tripdata_2015-04.csv (IndexMemDicStorageTests.java:180) -2019-06-10T21:24 [INFO] PARSE : memusage init = (ParallelLoader.java:112) -2019-06-10T21:24 [INFO][MEMORY] 12,384 (ParallelLoader.java:114) -2019-06-10T21:24 [INFO] Loader : nombre de résultats (total) lus = 100000 temps écoulé = 0.122 sactiveThreadNb = 0 (ParallelLoader.java:150) -2019-06-10T21:24 [WARNING] Fail to save entry number 0: incorrect data (ParallelLoaderRunnable.java:287) -2019-06-10T21:24 [INFO] Parsing terminé !! temps écoulé = 1.54 s (ParallelLoader.java:217) -2019-06-10T21:24 [INFO] PARSE : Nombre de lignes (local) = 100000 (ParallelLoader.java:218) -2019-06-10T21:24 [INFO][TIMER] TEMPS TOTAL PRIS PAR TOUS LES PARSINGS: 1.55 s (IndexMemDicStorageTests.java:183) -2019-06-10T21:24 [INFO] totalLength = 99999 (IndexMemDic.java:217) -2019-06-10T21:24 [INFO][TIMER] Temps pris pour classer la 1ère fois: 0.312 s (IndexMemDicStorageTests.java:83) -2019-06-10T21:24 [INFO] totalLength = 99999 (IndexMemDic.java:217) -2019-06-10T21:24 [INFO][TIMER] Temps pris pour classer la 2ème fois: 0.172 s (IndexMemDicStorageTests.java:86) -2019-06-10T21:24 [INFO] Recherche A OK ! Nb résultats selon A : 263 (IndexMemDicStorageTests.java:108) -2019-06-10T21:24 [INFO] Recherche B OK ! Nb résultats selon B : 263 (IndexMemDicStorageTests.java:111) -2019-06-10T21:24 [INFO] Recherche C OK ! Nb résultats selon C : 263 (IndexMemDicStorageTests.java:114) -2019-06-10T21:24 [INFO] resultsPositionsArray.length = 263 (IndexMemDicStorageTests.java:117) -2019-06-10T21:24 [INFO] Parsing de csvName = testdata/SMALL_100_000_yellow_tripdata_2015-04.csv (NewLoaderAndIndexTest.java:170) -2019-06-10T21:24 [INFO] PARSE : memusage init = (ParallelLoader.java:112) -2019-06-10T21:24 [INFO][MEMORY] 108,772 (ParallelLoader.java:114) -2019-06-10T21:24 [INFO] Loader : nombre de résultats (total) lus = 200000 temps écoulé = 0.168 sactiveThreadNb = 0 (ParallelLoader.java:150) -2019-06-10T21:24 [WARNING] Fail to save entry number 0: incorrect data (ParallelLoaderRunnable.java:287) -2019-06-10T21:24 [INFO] Parsing terminé !! temps écoulé = 0.889 s (ParallelLoader.java:217) -2019-06-10T21:24 [INFO] PARSE : Nombre de lignes (local) = 100000 (ParallelLoader.java:218) -2019-06-10T21:24 [INFO][TIMER] TEMPS TOTAL PRIS PAR TOUS LES PARSINGS: 0.904 s (NewLoaderAndIndexTest.java:189) -2019-06-10T21:24 [INFO] Bon nombre total de lignes ! nombre = 99999 (NewLoaderAndIndexTest.java:193) -2019-06-10T21:24 [INFO] totalLength = 99999 (IndexMemDic.java:217) -2019-06-10T21:24 [INFO] Recherche A OK ! Nb résultats selon A : 263 (NewLoaderAndIndexTest.java:71) -2019-06-10T21:24 [INFO] Recherche B OK ! Nb résultats selon B : 263 (NewLoaderAndIndexTest.java:74) -2019-06-10T21:24 [INFO] Recherche C OK ! Nb résultats selon C : 263 (NewLoaderAndIndexTest.java:77) -2019-06-10T21:24 [INFO] resultsPositionsArray.length = 263 (NewLoaderAndIndexTest.java:80) -2019-06-10T21:24 [INFO] Recherche FLAG OK ! Nb résultats avec FLAG : 175 index len = 99999 (NewLoaderAndIndexTest.java:101) -2019-06-10T21:24 [INFO] totalLength = 66666 (IndexMemDic.java:217) -2019-06-10T21:24 [INFO] Recherche STRUCT OK ! Nb résultats avec restructuration : 175 index len = 99999 (NewLoaderAndIndexTest.java:109) -2019-06-10T21:24 [INFO] setUpBeforeAll (IndexTreeMessyTest.java:73) -2019-06-10T21:24 [INFO] Nombre de résultats/entrées parsés INIT : 0 (IndexTreeMessyTest.java:186) -2019-06-10T21:24 [WARNING] Fail to save entry number 0: incorrect data (Loader.java:107) -2019-06-10T21:24 [INFO] Loader : nombre de résultats (local) parsés = 0 temps écoulé = 2.99 millis (Loader.java:116) -2019-06-10T21:24 [INFO][MEMORY] 234,123 (Loader.java:117) -2019-06-10T21:24 [WARNING] Fail to save entry number 0: incorrect data (Loader.java:107) -2019-06-10T21:24 [INFO] Loader : nombre de résultats (local) parsés = 0 temps écoulé = 0.54 millis (Loader.java:116) -2019-06-10T21:24 [INFO][MEMORY] 154,808 (Loader.java:117) -2019-06-10T21:24 [WARNING] Fail to save entry number 0: incorrect data (Loader.java:107) -2019-06-10T21:24 [WARNING] Fail to save entry number 0: incorrect data (Loader.java:107) -2019-06-10T21:24 [INFO] Loader : nombre de résultats (local) parsés = 0 temps écoulé = 0.013 s (Loader.java:116) -2019-06-10T21:24 [INFO] Loader : nombre de résultats (local) parsés = 0 temps écoulé = 3.63 millis (Loader.java:116) -2019-06-10T21:24 [INFO][MEMORY] 202,936 (Loader.java:117) -2019-06-10T21:24 [INFO][MEMORY] 202,936 (Loader.java:117) -2019-06-10T21:24 [INFO] PARSE : FINAL USAGE (Loader.java:136) -2019-06-10T21:24 [INFO][MEMORY] 154,918 (Loader.java:138) -2019-06-10T21:24 [INFO] PARSE : FINAL USAGE (Loader.java:136) -2019-06-10T21:24 [INFO][MEMORY] 155,713 (Loader.java:138) -2019-06-10T21:24 [INFO] PARSE : FINAL USAGE (Loader.java:136) -2019-06-10T21:24 [INFO][MEMORY] 155,525 (Loader.java:138) -2019-06-10T21:24 [INFO] PARSE : FINAL USAGE (Loader.java:136) -2019-06-10T21:24 [INFO][MEMORY] 155,614 (Loader.java:138) -2019-06-10T21:24 [INFO][TIMER] TEMPS TOTAL pris par le parsing: 12.07 s (IndexTreeMessyTest.java:314) -2019-06-10T21:24 [INFO] setUpBeforeAll OK (IndexTreeMessyTest.java:322) -2019-06-10T21:24 [DEBUG] TableHandler.flushAllIndexOnDisk : size = 15 (Table.java:334) -2019-06-10T21:24 [INFO][MEMORY] IndexTreeDic.flushOnDisk 156,638 (IndexTreeDic.java:517) -2019-06-10T21:24 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@7ce3cb8e (Table.java:338) -2019-06-10T21:24 [INFO][MEMORY] IndexTreeDic.flushOnDisk 156,638 (IndexTreeDic.java:517) -2019-06-10T21:24 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@78b66d36 (Table.java:338) -2019-06-10T21:24 [INFO][MEMORY] IndexTreeDic.flushOnDisk 157,014 (IndexTreeDic.java:517) -2019-06-10T21:24 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@5223e5ee (Table.java:338) -2019-06-10T21:24 [INFO][MEMORY] IndexTreeDic.flushOnDisk 157,014 (IndexTreeDic.java:517) -2019-06-10T21:24 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@bef2d72 (Table.java:338) -2019-06-10T21:24 [INFO][MEMORY] IndexTreeDic.flushOnDisk 157,064 (IndexTreeDic.java:517) -2019-06-10T21:24 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@69b2283a (Table.java:338) -2019-06-10T21:24 [INFO][MEMORY] IndexTreeDic.flushOnDisk 157,576 (IndexTreeDic.java:517) -2019-06-10T21:24 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@22a637e7 (Table.java:338) -2019-06-10T21:24 [INFO][MEMORY] IndexTreeDic.flushOnDisk 157,634 (IndexTreeDic.java:517) -2019-06-10T21:24 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@6fe7aac8 (Table.java:338) -2019-06-10T21:24 [INFO][MEMORY] IndexTreeDic.flushOnDisk 157,634 (IndexTreeDic.java:517) -2019-06-10T21:24 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@1d119efb (Table.java:338) -2019-06-10T21:24 [INFO][MEMORY] IndexTreeDic.flushOnDisk 157,634 (IndexTreeDic.java:517) -2019-06-10T21:24 [INFO] Table.flu
\ No newline at end of file diff --git a/repo/testdata/repo_8k/00000/files b/repo/testdata/repo_8k/00000/files Binary files differdeleted file mode 100644 index 56431d4..0000000 --- a/repo/testdata/repo_8k/00000/files +++ /dev/null diff --git a/repo/testdata/repo_8k/00000/hashes b/repo/testdata/repo_8k/00000/hashes Binary files differdeleted file mode 100644 index ec622b2..0000000 --- a/repo/testdata/repo_8k/00000/hashes +++ /dev/null diff --git a/repo/testdata/repo_8k/00000/recipe b/repo/testdata/repo_8k/00000/recipe Binary files differdeleted file mode 100644 index 66bde3d..0000000 --- a/repo/testdata/repo_8k/00000/recipe +++ /dev/null diff --git a/repo/testdata/repo_8k_zlib/00000/files b/repo/testdata/repo_8k_zlib/00000/files Binary files differindex 70ca423..e9bb403 100644 --- a/repo/testdata/repo_8k_zlib/00000/files +++ b/repo/testdata/repo_8k_zlib/00000/files diff --git a/repo/testdata/repo_8k_zlib/00000/hashes b/repo/testdata/repo_8k_zlib/00000/hashes Binary files differindex ec622b2..8c6a857 100644 --- a/repo/testdata/repo_8k_zlib/00000/hashes +++ b/repo/testdata/repo_8k_zlib/00000/hashes diff --git a/repo/testdata/repo_8k_zlib/00000/recipe b/repo/testdata/repo_8k_zlib/00000/recipe Binary files differindex d8c788b..7d33a6a 100644 --- a/repo/testdata/repo_8k_zlib/00000/recipe +++ b/repo/testdata/repo_8k_zlib/00000/recipe |