diff options
| author | n-peugnet <n.peugnet@free.fr> | 2021-10-06 14:46:38 +0200 |
|---|---|---|
| committer | n-peugnet <n.peugnet@free.fr> | 2021-10-06 14:46:38 +0200 |
| commit | 763c6b985da74078e8683fa83b3f599619deb00d (patch) | |
| tree | 06dbaad6b565481942fb024f16354b93bcaa21dd | |
| parent | 21a8ea292cc715fd22df7ef52bf6e1675bfc7dc4 (diff) | |
| download | dna-backup-763c6b985da74078e8683fa83b3f599619deb00d.tar.gz dna-backup-763c6b985da74078e8683fa83b3f599619deb00d.zip | |
use repo deltacodec for recipe and files
this should not only be more efficient in space but also in time
drop old Commit and Restore tests that do not use compression
21 files changed, 54 insertions, 1247 deletions
diff --git a/repo/repo.go b/repo/repo.go index 97d0b5c..ab96dbe 100644 --- a/repo/repo.go +++ b/repo/repo.go @@ -43,7 +43,6 @@ import ( "github.com/n-peugnet/dna-backup/delta" "github.com/n-peugnet/dna-backup/logger" "github.com/n-peugnet/dna-backup/sketch" - "github.com/n-peugnet/dna-backup/slice" "github.com/n-peugnet/dna-backup/utils" ) @@ -335,40 +334,33 @@ func concatFiles(files *[]File, stream io.WriteCloser) { *files = actual } -func storeBasicStruct(dest string, wrapper utils.WriteWrapper, obj interface{}) { - file, err := os.Create(dest) - if err != nil { - logger.Panic(err) - } - out := wrapper(file) - encoder := gob.NewEncoder(out) - err = encoder.Encode(obj) - if err != nil { +func storeDelta(prev interface{}, curr interface{}, dest string, differ delta.Differ, wrapper utils.WriteWrapper) { + var prevBytes, currBytes, deltaBytes bytes.Buffer + var encoder *gob.Encoder + var err error + + encoder = gob.NewEncoder(&prevBytes) + if err = encoder.Encode(prev); err != nil { logger.Panic(err) } - if err = out.Close(); err != nil { + encoder = gob.NewEncoder(&currBytes) + if err = encoder.Encode(curr); err != nil { logger.Panic(err) } - if err = file.Close(); err != nil { + if err = differ.Diff(&prevBytes, &currBytes, &deltaBytes); err != nil { logger.Panic(err) } -} -func loadBasicStruct(path string, wrapper utils.ReadWrapper, obj interface{}) { - file, err := os.Open(path) - if err != nil { - logger.Panic(err) - } - in, err := wrapper(file) + file, err := os.Create(dest) if err != nil { logger.Panic(err) } - decoder := gob.NewDecoder(in) - err = decoder.Decode(obj) + out := wrapper(file) + n, err := io.Copy(out, &deltaBytes) if err != nil { - logger.Panic(err) + logger.Panic(n, err) } - if err = in.Close(); err != nil { + if err = out.Close(); err != nil { logger.Panic(err) } if err = file.Close(); err != nil { @@ -376,48 +368,53 @@ func loadBasicStruct(path string, wrapper utils.ReadWrapper, obj interface{}) { } } -func (r *Repo) loadDeltas(versions []string, wrapper utils.ReadWrapper, name string) (ret slice.Slice) { - for _, v := range versions { - path := filepath.Join(v, name) - var delta slice.Delta - loadBasicStruct(path, wrapper, &delta) - ret = slice.Patch(ret, delta) - } - return -} +func loadDeltas(target interface{}, versions []string, patcher delta.Patcher, wrapper utils.ReadWrapper, name string) { + var prev bytes.Buffer + var encoder *gob.Encoder + var err error -func fileList2slice(l []File) (ret slice.Slice) { - ret = make(slice.Slice, len(l)) - for i := range l { - ret[i] = l[i] + encoder = gob.NewEncoder(&prev) + if err = encoder.Encode(target); err != nil { + logger.Panic(err) } - return -} -func slice2fileList(s slice.Slice) (ret []File) { - ret = make([]File, len(s)) - for i := range s { - if f, ok := s[i].(File); ok { - ret[i] = f - } else { - logger.Warningf("could not convert %s into a File", s[i]) + for _, v := range versions { + var curr bytes.Buffer + path := filepath.Join(v, name) + file, err := os.Open(path) + if err != nil { + logger.Panic(err) + } + in, err := wrapper(file) + if err != nil { + logger.Panic(err) + } + if err = patcher.Patch(&prev, &curr, in); err != nil { + logger.Panic(err) + } + prev = curr + if err = in.Close(); err != nil { + logger.Panic(err) } } - return + decoder := gob.NewDecoder(&prev) + if err = decoder.Decode(target); err != nil { + logger.Panic(err) + } } // storeFileList stores the given list in the repo dir as a delta against the // previous version's one. func (r *Repo) storeFileList(version int, list []File) { dest := filepath.Join(r.path, fmt.Sprintf(versionFmt, version), filesName) - delta := slice.Diff(fileList2slice(r.files), fileList2slice(list)) - logger.Infof("files delta %s", delta.String()) - storeBasicStruct(dest, r.chunkWriteWrapper, delta) + storeDelta(r.files, list, dest, r.differ, r.chunkWriteWrapper) } // loadFileLists loads incrementally the file lists' delta of each given version. func (r *Repo) loadFileLists(versions []string) { - r.files = slice2fileList(r.loadDeltas(versions, r.chunkReadWrapper, filesName)) + var files []File + loadDeltas(&files, versions, r.patcher, r.chunkReadWrapper, filesName) + r.files = files } // storageWorker is meant to be started in a goroutine and stores each new chunk's @@ -736,35 +733,14 @@ func (r *Repo) restoreStream(stream io.WriteCloser, recipe []Chunk) { stream.Close() } -func recipe2slice(r []Chunk) (ret slice.Slice) { - ret = make(slice.Slice, len(r)) - for i := range r { - ret[i] = r[i] - } - return -} - -func slice2recipe(s slice.Slice) (ret []Chunk) { - ret = make([]Chunk, len(s)) - for i := range s { - if c, ok := s[i].(Chunk); ok { - ret[i] = c - } else { - logger.Warningf("could not convert %s into a Chunk", s[i]) - } - } - return -} - func (r *Repo) storeRecipe(version int, recipe []Chunk) { dest := filepath.Join(r.path, fmt.Sprintf(versionFmt, version), recipeName) - delta := slice.Diff(recipe2slice(r.recipe), recipe2slice(recipe)) - logger.Infof("recipe delta %s", delta.String()) - storeBasicStruct(dest, r.chunkWriteWrapper, delta) + storeDelta(r.recipe, recipe, dest, r.differ, r.chunkWriteWrapper) } func (r *Repo) loadRecipes(versions []string) { - recipe := slice2recipe(r.loadDeltas(versions, r.chunkReadWrapper, recipeName)) + var recipe []Chunk + loadDeltas(&recipe, versions, r.patcher, r.chunkReadWrapper, recipeName) for _, c := range recipe { if rc, isRepo := c.(RepoChunk); isRepo { rc.SetRepo(r) diff --git a/repo/repo_test.go b/repo/repo_test.go index 0d26ccd..36cc1bd 100644 --- a/repo/repo_test.go +++ b/repo/repo_test.go @@ -337,27 +337,13 @@ func TestBsdiff(t *testing.T) { } } -func TestCommit(t *testing.T) { - dest := t.TempDir() - source := filepath.Join("testdata", "logs") - expected := filepath.Join("testdata", "repo_8k") - repo := NewRepo(dest) - repo.patcher = delta.Bsdiff{} - repo.differ = delta.Bsdiff{} - repo.chunkReadWrapper = utils.NopReadWrapper - repo.chunkWriteWrapper = utils.NopWriteWrapper - - repo.Commit(source) - assertSameTree(t, assertCompatibleRepoFile, expected, dest, "Commit") -} - func TestCommitZlib(t *testing.T) { dest := t.TempDir() source := filepath.Join("testdata", "logs") expected := filepath.Join("testdata", "repo_8k_zlib") repo := NewRepo(dest) - repo.patcher = delta.Bsdiff{} - repo.differ = delta.Bsdiff{} + repo.patcher = delta.Fdelta{} + repo.differ = delta.Fdelta{} repo.chunkReadWrapper = utils.ZlibReader repo.chunkWriteWrapper = utils.ZlibWriter @@ -365,22 +351,6 @@ func TestCommitZlib(t *testing.T) { assertSameTree(t, assertCompatibleRepoFile, expected, dest, "Commit") } -func TestRestore(t *testing.T) { - logger.SetLevel(2) - defer logger.SetLevel(4) - dest := t.TempDir() - source := filepath.Join("testdata", "repo_8k") - expected := filepath.Join("testdata", "logs") - repo := NewRepo(source) - repo.patcher = delta.Bsdiff{} - repo.differ = delta.Bsdiff{} - repo.chunkReadWrapper = utils.NopReadWrapper - repo.chunkWriteWrapper = utils.NopWriteWrapper - - repo.Restore(dest) - assertSameTree(t, testutils.AssertSameFile, expected, dest, "Restore") -} - func TestRestoreZlib(t *testing.T) { logger.SetLevel(2) defer logger.SetLevel(4) @@ -388,8 +358,8 @@ func TestRestoreZlib(t *testing.T) { source := filepath.Join("testdata", "repo_8k_zlib") expected := filepath.Join("testdata", "logs") repo := NewRepo(source) - repo.patcher = delta.Bsdiff{} - repo.differ = delta.Bsdiff{} + repo.patcher = delta.Fdelta{} + repo.differ = delta.Fdelta{} repo.chunkReadWrapper = utils.ZlibReader repo.chunkWriteWrapper = utils.ZlibWriter diff --git a/repo/testdata/repo_8k/00000/chunks/000000000000000 b/repo/testdata/repo_8k/00000/chunks/000000000000000 deleted file mode 100644 index ac78620..0000000 --- a/repo/testdata/repo_8k/00000/chunks/000000000000000 +++ /dev/null @@ -1,85 +0,0 @@ -2019-06-05T20:13 [INFO] testInfoString (LogTest.java:52) -2019-06-05T20:13 [INFO][YO] testInfoString (LogTest.java:57) -2019-06-05T20:13 [INFO] testInfoString (LogTest.java:52) -2019-06-05T20:13 [INFO][YO] testInfoString (LogTest.java:57) -2019-06-05T20:51 [INFO] testInfoString (LogTest.java:52) -2019-06-05T20:51 [INFO][YO] testInfoString (LogTest.java:57) -2019-06-05T22:41 [INFO] testInfoString (LogTest.java:52) -2019-06-05T22:41 [INFO][YO] testInfoString (LogTest.java:57) -2019-06-05T23:02 [INFO] testInfoString (LogTest.java:52) -2019-06-05T23:02 [INFO][YO] testInfoString (LogTest.java:57) -2019-06-05T20:13 [WARNING] Fail to save entry number 0: incorrect data (Loader.java:107) -2019-06-05T20:13 [INFO] Loader : nombre de résultats (local) parsés = 0 temps écoulé = 0.52 millis (Loader.java:116) -2019-06-05T20:13 [INFO][MEMORY] 160,128 (Loader.java:117) -2019-06-05T20:13 [INFO] PARSE : FINAL USAGE (Loader.java:136) -2019-06-05T20:13 [INFO][MEMORY] 231,367 (Loader.java:138) -2019-06-05T20:13 [INFO][TIMER] Temps pris par le parsing: 0.898 s (LoaderTest.java:69) -2019-06-05T20:13 [DEBUG][line][70] [2, Thu Apr 09 19:29:33 CEST 2015, Thu Apr 09 19:37:09 CEST 2015, 1, 0.83, -73.98651885986328, 40.76189422607422, 1, N, -73.97399139404297, 40.760414123535156, 1, 6.5, 1.0, 0.5, 1.66, 0.0, 0.3, 9.96] (LoaderTest.java:97) -2019-06-05T20:14 [WARNING] Fail to save entry number 0: incorrect data (Loader.java:107) -2019-06-05T20:14 [INFO] Loader : nombre de résultats (local) parsés = 0 temps écoulé = 0.46 millis (Loader.java:116) -2019-06-05T20:14 [INFO][MEMORY] 267,348 (Loader.java:117) -2019-06-05T20:14 [INFO] PARSE : FINAL USAGE (Loader.java:136) -2019-06-05T20:14 [INFO][MEMORY] 231,359 (Loader.java:138) -2019-06-05T20:14 [INFO][TIMER] Temps pris par le parsing: 0.839 s (LoaderTest.java:69) -2019-06-05T20:14 [DEBUG][line][70] [2, Thu Apr 09 19:29:33 CEST 2015, Thu Apr 09 19:37:09 CEST 2015, 1, 0.83, -73.98651885986328, 40.76189422607422, 1, N, -73.97399139404297, 40.760414123535156, 1, 6.5, 1.0, 0.5, 1.66, 0.0, 0.3, 9.96] (LoaderTest.java:97) -2019-06-05T20:51 [WARNING] Fail to save entry number 0: incorrect data (Loader.java:107) -2019-06-05T20:51 [INFO] Loader : nombre de résultats (local) parsés = 0 temps écoulé = 2.61 millis (Loader.java:116) -2019-06-05T20:51 [INFO][MEMORY] 189,561 (Loader.java:117) -2019-06-05T20:51 [INFO] PARSE : FINAL USAGE (Loader.java:136) -2019-06-05T20:51 [INFO][MEMORY] 168,686 (Loader.java:138) -2019-06-05T20:51 [INFO][TIMER] Temps pris par le parsing: 0.930 s (LoaderTest.java:69) -2019-06-05T20:51 [DEBUG][line][70] [2, Thu Apr 09 19:29:33 CEST 2015, Thu Apr 09 19:37:09 CEST 2015, 1, 0.83, -73.98651885986328, 40.76189422607422, 1, N, -73.97399139404297, 40.760414123535156, 1, 6.5, 1.0, 0.5, 1.66, 0.0, 0.3, 9.96] (LoaderTest.java:97) -2019-06-05T22:41 [WARNING] Fail to save entry number 0: incorrect data (Loader.java:107) -2019-06-05T22:41 [INFO] Loader : nombre de résultats (local) parsés = 0 temps écoulé = 1.83 millis (Loader.java:116) -2019-06-05T22:41 [INFO][MEMORY] 189,494 (Loader.java:117) -2019-06-05T22:41 [INFO] PARSE : FINAL USAGE (Loader.java:136) -2019-06-05T22:41 [INFO][MEMORY] 168,619 (Loader.java:138) -2019-06-05T22:41 [INFO][TIMER] Temps pris par le parsing: 0.882 s (LoaderTest.java:69) -2019-06-05T22:41 [DEBUG][line][70] [2, Thu Apr 09 19:29:33 CEST 2015, Thu Apr 09 19:37:09 CEST 2015, 1, 0.83, -73.98651885986328, 40.76189422607422, 1, N, -73.97399139404297, 40.760414123535156, 1, 6.5, 1.0, 0.5, 1.66, 0.0, 0.3, 9.96] (LoaderTest.java:97) -2019-06-05T23:02 [WARNING] Fail to save entry number 0: incorrect data (Loader.java:107) -2019-06-05T23:02 [INFO] Loader : nombre de résultats (local) parsés = 0 temps écoulé = 0.54 millis (Loader.java:116) -2019-06-05T23:02 [INFO][MEMORY] 189,551 (Loader.java:117) -2019-06-05T23:02 [INFO] PARSE : FINAL USAGE (Loader.java:136) -2019-06-05T23:02 [INFO][MEMORY] 168,676 (Loader.java:138) -2019-06-05T23:02 [INFO][TIMER] Temps pris par le parsing: 1.04 s (LoaderTest.java:69) -2019-06-05T23:02 [DEBUG][line][70] [2, Thu Apr 09 19:29:33 CEST 2015, Thu Apr 09 19:37:09 CEST 2015, 1, 0.83, -73.98651885986328, 40.76189422607422, 1, N, -73.97399139404297, 40.760414123535156, 1, 6.5, 1.0, 0.5, 1.66, 0.0, 0.3, 9.96] (LoaderTest.java:97) -2019-06-10T20:34 [WARNING] Fail to save entry number 0: incorrect data (Loader.java:107) -2019-06-10T20:34 [INFO] Loader : nombre de résultats (local) parsés = 0 temps écoulé = 4.82 millis (Loader.java:116) -2019-06-10T20:34 [INFO][MEMORY] 82,958 (Loader.java:117) -2019-06-10T20:34 [INFO] PARSE : FINAL USAGE (Loader.java:136) -2019-06-10T20:34 [INFO][MEMORY] 163,350 (Loader.java:138) -2019-06-10T20:34 [INFO][TIMER] Temps pris par le parsing: 0.938 s (LoaderTest.java:69) -2019-06-10T20:34 [DEBUG][line][70] [2, Thu Apr 09 19:29:33 CEST 2015, Thu Apr 09 19:37:09 CEST 2015, 1, 0.83, -73.98651885986328, 40.76189422607422, 1, N, -73.97399139404297, 40.760414123535156, 1, 6.5, 1.0, 0.5, 1.66, 0.0, 0.3, 9.96] (LoaderTest.java:97) -2019-06-10T20:50 [WARNING] Fail to save entry number 0: incorrect data (Loader.java:107) -2019-06-10T20:50 [INFO] Loader : nombre de résultats (local) parsés = 0 temps écoulé = 0.56 millis (Loader.java:116) -2019-06-10T20:50 [INFO][MEMORY] 82,957 (Loader.java:117) -2019-06-10T20:50 [INFO] PARSE : FINAL USAGE (Loader.java:136) -2019-06-10T20:50 [INFO][MEMORY] 163,349 (Loader.java:138) -2019-06-10T20:50 [INFO][TIMER] Temps pris par le parsing: 0.853 s (LoaderTest.java:69) -2019-06-10T20:50 [DEBUG][line][70] [2, Thu Apr 09 19:29:33 CEST 2015, Thu Apr 09 19:37:09 CEST 2015, 1, 0.83, -73.98651885986328, 40.76189422607422, 1, N, -73.97399139404297, 40.760414123535156, 1, 6.5, 1.0, 0.5, 1.66, 0.0, 0.3, 9.96] (LoaderTest.java:97) -2019-06-10T20:51 [WARNING] Fail to save entry number 0: incorrect data (Loader.java:107) -2019-06-10T20:51 [INFO] Loader : nombre de résultats (local) parsés = 0 temps écoulé = 0.51 millis (Loader.java:116) -2019-06-10T20:51 [INFO][MEMORY] 189,538 (Loader.java:117) -2019-06-10T20:51 [INFO] PARSE : FINAL USAGE (Loader.java:136) -2019-06-10T20:51 [INFO][MEMORY] 168,663 (Loader.java:138) -2019-06-10T20:51 [INFO][TIMER] Temps pris par le parsing: 1.27 s (LoaderTest.java:69) -2019-06-10T20:51 [DEBUG][line][70] [2, Thu Apr 09 19:29:33 CEST 2015, Thu Apr 09 19:37:09 CEST 2015, 1, 0.83, -73.98651885986328, 40.76189422607422, 1, N, -73.97399139404297, 40.760414123535156, 1, 6.5, 1.0, 0.5, 1.66, 0.0, 0.3, 9.96] (LoaderTest.java:97) -2019-06-10T21:24 [WARNING] Fail to save entry number 0: incorrect data (Loader.java:107) -2019-06-10T21:24 [INFO] Loader : nombre de résultats (local) parsés = 0 temps écoulé = 0.58 millis (Loader.java:116) -2019-06-10T21:24 [INFO][MEMORY] 189,539 (Loader.java:117) -2019-06-10T21:24 [INFO] PARSE : FINAL USAGE (Loader.java:136) -2019-06-10T21:24 [INFO][MEMORY] 168,664 (Loader.java:138) -2019-06-10T21:24 [INFO][TIMER] Temps pris par le parsing: 1.86 s (LoaderTest.java:69) -2019-06-10T21:24 [DEBUG][line][70] [2, Thu Apr 09 19:29:33 CEST 2015, Thu Apr 09 19:37:09 CEST 2015, 1, 0.83, -73.98651885986328, 40.76189422607422, 1, N, -73.97399139404297, 40.760414123535156, 1, 6.5, 1.0, 0.5, 1.66, 0.0, 0.3, 9.96] (LoaderTest.java:97) -2019-06-05T14:47 [INFO] SerialStructure.loadStructure : OK ! (SerialStructure.java:71) -2019-06-05T14:49 [INFO] PARSE : memusage init = (ParallelLoader.java:112) -2019-06-05T14:49 [INFO][MEMORY] 229,457 (ParallelLoader.java:114) -2019-06-05T14:49 [INFO] Loader : nombre de résultats (total) lus = 100000 temps écoulé = 0.522 sactiveThreadNb = 0 (ParallelLoader.java:150) -2019-06-05T14:49 [ERROR] debugCount = 0 (ParallelLoader.java:203) -2019-06-05T14:49 [WARNING] Fail to save entry number 0: incorrect data (ParallelLoaderRunnable.java:287) -2019-06-05T14:49 [INFO] Parsing terminé !! temps écoulé = 2.78 s (ParallelLoader.java:217) -2019-06-05T14:49 [INFO] PARSE : Nombre de lignes (local) = 100000 (ParallelLoader.java:218) -2019-06-05T14:53 [INFO] SerialStructure.loadStructure : OK ! (SerialStructure.java:71) -2019-06-05T14:53 [INFO] PARSE : memusage init = (ParallelLoader.java:112) -2019-06-05T14:53 [INFO][MEMORY] 227,095 (ParallelLoader.java:114) -2019-06-05T14:53 [INFO] Loader : nombre de résulta
\ No newline at end of file diff --git a/repo/testdata/repo_8k/00000/chunks/000000000000001 b/repo/testdata/repo_8k/00000/chunks/000000000000001 deleted file mode 100644 index 3e728e2..0000000 --- a/repo/testdata/repo_8k/00000/chunks/000000000000001 +++ /dev/null @@ -1,89 +0,0 @@ -ts (total) lus = 100000 temps écoulé = 0.433 sactiveThreadNb = 0 (ParallelLoader.java:150) -2019-06-05T14:53 [ERROR] debugCount = 0 (ParallelLoader.java:203) -2019-06-05T14:53 [WARNING] Fail to save entry number 0: incorrect data (ParallelLoaderRunnable.java:287) -2019-06-05T14:53 [INFO] Parsing terminé !! temps écoulé = 2.37 s (ParallelLoader.java:217) -2019-06-05T14:53 [INFO] PARSE : Nombre de lignes (local) = 100000 (ParallelLoader.java:218) -2019-06-05T14:54 [ERROR] dicStartIndex trop grand (IndexMemDic.java:461) -2019-06-05T14:59 [ERROR] dicStartIndex trop grand (IndexMemDic.java:461) -2019-06-05T14:59 [ERROR] dicStartIndex trop grand (IndexMemDic.java:461) -2019-06-05T15:08 [WARNING] value can't be parsed in selected column : vendor_id 1.0 (FilterTermEntity.java:35) -2019-06-05T15:09 [WARNING] value can't be parsed in selected column : vendor_id 1.0 (FilterTermEntity.java:35) -2019-06-05T15:09 [ERROR] delta != 0 1 dicCurrentIndex=0 realLinePos=0 (IndexMemDic.java:477) -2019-06-05T15:09 [WARNING] value can't be parsed in selected column : vendor_id 1.0 (FilterTermEntity.java:35) -2019-06-05T15:09 [ERROR] delta != 0 1 dicCurrentIndex=0 realLinePos=0 (IndexMemDic.java:477) -2019-06-05T15:10 [WARNING] value can't be parsed in selected column : vendor_id 1.0 (FilterTermEntity.java:35) -2019-06-05T15:10 [ERROR] delta != 0 1 dicCurrentIndex=0 realLinePos=0 (IndexMemDic.java:477) -2019-06-05T15:12 [INFO] SerialStructure.loadStructure : OK ! (SerialStructure.java:71) -2019-06-05T15:12 [INFO] PARSE : memusage init = (ParallelLoader.java:112) -2019-06-05T15:12 [INFO][MEMORY] 178,759 (ParallelLoader.java:114) -2019-06-05T15:12 [INFO] Loader : nombre de résultats (total) lus = 100000 temps écoulé = 0.220 sactiveThreadNb = 0 (ParallelLoader.java:150) -2019-06-05T15:12 [ERROR] debugCount = 0 (ParallelLoader.java:203) -2019-06-05T15:12 [WARNING] Fail to save entry number 0: incorrect data (ParallelLoaderRunnable.java:287) -2019-06-05T15:12 [INFO] Parsing terminé !! temps écoulé = 2.25 s (ParallelLoader.java:217) -2019-06-05T15:12 [INFO] PARSE : Nombre de lignes (local) = 100000 (ParallelLoader.java:218) -2019-06-05T15:13 [WARNING] value can't be parsed in selected column : vendor_id 1.0 (FilterTermEntity.java:35) -2019-06-05T15:14 [DEBUG] TableHandler.flushAllIndexOnDisk : size = 0 (Table.java:328) -2019-06-05T15:14 [INFO] SerialStructure.writeStructure : OK ! (SerialStructure.java:54) -2019-06-05T15:14 [DEBUG] TableHandler.flushAllIndexOnDisk : size = 0 (Table.java:328) -2019-06-05T15:14 [INFO] SerialStructure.writeStructure : OK ! (SerialStructure.java:54) -2019-06-05T15:14 [INFO] PARSE : memusage init = (ParallelLoader.java:112) -2019-06-05T15:14 [INFO][MEMORY] 308,168 (ParallelLoader.java:114) -2019-06-05T15:14 [INFO] Loader : nombre de résultats (total) lus = 200000 temps écoulé = 0.052 sactiveThreadNb = 0 (ParallelLoader.java:150) -2019-06-05T15:14 [ERROR] debugCount = 0 (ParallelLoader.java:203) -2019-06-05T15:14 [WARNING] Fail to save entry number 0: incorrect data (ParallelLoaderRunnable.java:287) -2019-06-05T15:14 [INFO] Parsing terminé !! temps écoulé = 1.32 s (ParallelLoader.java:217) -2019-06-05T15:14 [INFO] PARSE : Nombre de lignes (local) = 100000 (ParallelLoader.java:218) -2019-06-05T15:14 [WARNING] value can't be parsed in selected column : vendor_id 1.0 (FilterTermEntity.java:35) -2019-06-05T15:15 [ERROR] delta != 0 1 dicCurrentIndex=0 realLinePos=0 (IndexMemDic.java:477) -2019-06-05T15:15 [WARNING] value can't be parsed in selected column : vendor_id 1.0 (FilterTermEntity.java:35) -2019-06-05T15:17 [INFO] SerialStructure.loadStructure : OK ! (SerialStructure.java:71) -2019-06-05T15:26 [INFO] SerialStructure.loadStructure : OK ! (SerialStructure.java:71) -2019-06-05T15:27 [INFO] PARSE : memusage init = (ParallelLoader.java:112) -2019-06-05T15:27 [INFO][MEMORY] 179,237 (ParallelLoader.java:114) -2019-06-05T15:27 [INFO] Loader : nombre de résultats (total) lus = 100000 temps écoulé = 0.098 sactiveThreadNb = 0 (ParallelLoader.java:150) -2019-06-05T15:27 [ERROR] debugCount = 0 (ParallelLoader.java:203) -2019-06-05T15:27 [WARNING] Fail to save entry number 0: incorrect data (ParallelLoaderRunnable.java:287) -2019-06-05T15:27 [INFO] Parsing terminé !! temps écoulé = 2.22 s (ParallelLoader.java:217) -2019-06-05T15:27 [INFO] PARSE : Nombre de lignes (local) = 100000 (ParallelLoader.java:218) -2019-06-05T15:31 [INFO] SerialStructure.loadStructure : OK ! (SerialStructure.java:71) -2019-06-05T15:31 [INFO] PARSE : memusage init = (ParallelLoader.java:112) -2019-06-05T15:31 [INFO][MEMORY] 178,254 (ParallelLoader.java:114) -2019-06-05T15:31 [INFO] Loader : nombre de résultats (total) lus = 100000 temps écoulé = 0.118 sactiveThreadNb = 0 (ParallelLoader.java:150) -2019-06-05T15:31 [ERROR] debugCount = 0 (ParallelLoader.java:203) -2019-06-05T15:31 [WARNING] Fail to save entry number 0: incorrect data (ParallelLoaderRunnable.java:287) -2019-06-05T15:31 [INFO] Parsing terminé !! temps écoulé = 2.11 s (ParallelLoader.java:217) -2019-06-05T15:31 [INFO] PARSE : Nombre de lignes (local) = 100000 (ParallelLoader.java:218) -2019-06-05T15:41 [INFO] SerialStructure.loadStructure : OK ! (SerialStructure.java:71) -2019-06-05T15:41 [INFO] PARSE : memusage init = (ParallelLoader.java:112) -2019-06-05T15:41 [INFO][MEMORY] 180,287 (ParallelLoader.java:114) -2019-06-05T15:41 [INFO] Loader : nombre de résultats (total) lus = 100000 temps écoulé = 0.195 sactiveThreadNb = 0 (ParallelLoader.java:150) -2019-06-05T15:41 [ERROR] debugCount = 0 (ParallelLoader.java:203) -2019-06-05T15:41 [WARNING] Fail to save entry number 0: incorrect data (ParallelLoaderRunnable.java:287) -2019-06-05T15:41 [INFO] Parsing terminé !! temps écoulé = 1.92 s (ParallelLoader.java:217) -2019-06-05T15:41 [INFO] PARSE : Nombre de lignes (local) = 100000 (ParallelLoader.java:218) -2019-06-05T15:42 [INFO] SerialStructure.loadStructure : OK ! (SerialStructure.java:71) -2019-06-05T15:43 [INFO] PARSE : memusage init = (ParallelLoader.java:112) -2019-06-05T15:43 [INFO][MEMORY] 178,731 (ParallelLoader.java:114) -2019-06-05T15:43 [INFO] Loader : nombre de résultats (total) lus = 100000 temps écoulé = 0.141 sactiveThreadNb = 0 (ParallelLoader.java:150) -2019-06-05T15:43 [ERROR] debugCount = 0 (ParallelLoader.java:203) -2019-06-05T15:43 [WARNING] Fail to save entry number 0: incorrect data (ParallelLoaderRunnable.java:287) -2019-06-05T15:43 [INFO] Parsing terminé !! temps écoulé = 2.03 s (ParallelLoader.java:217) -2019-06-05T15:43 [INFO] PARSE : Nombre de lignes (local) = 100000 (ParallelLoader.java:218) -2019-06-05T18:35 [INFO] SerialStructure.loadStructure : OK ! (SerialStructure.java:71) -2019-06-05T18:35 [INFO] PARSE : memusage init = (ParallelLoader.java:112) -2019-06-05T18:35 [INFO][MEMORY] 229,265 (ParallelLoader.java:114) -2019-06-05T18:35 [INFO] Loader : nombre de résultats (total) lus = 100000 temps écoulé = 0.641 sactiveThreadNb = 0 (ParallelLoader.java:150) -2019-06-05T18:35 [ERROR] debugCount = 0 (ParallelLoader.java:203) -2019-06-05T18:35 [WARNING] Fail to save entry number 0: incorrect data (ParallelLoaderRunnable.java:287) -2019-06-05T18:35 [INFO] Parsing terminé !! temps écoulé = 3.04 s (ParallelLoader.java:217) -2019-06-05T18:35 [INFO] PARSE : Nombre de lignes (local) = 100000 (ParallelLoader.java:218) -2019-06-05T18:36 [INFO] PARSE : memusage init = (ParallelLoader.java:112) -2019-06-05T18:36 [INFO][MEMORY] 326,934 (ParallelLoader.java:114) -2019-06-05T18:36 [INFO] Loader : nombre de résultats (total) lus = 200000 temps écoulé = 0.072 sactiveThreadNb = 0 (ParallelLoader.java:150) -2019-06-05T18:36 [ERROR] debugCount = 0 (ParallelLoader.java:203) -2019-06-05T18:36 [WARNING] Fail to save entry number 0: incorrect data (ParallelLoaderRunnable.java:287) -2019-06-05T18:36 [INFO] Parsing terminé !! temps écoulé = 1.17 s (ParallelLoader.java:217) -2019-06-05T18:36 [INFO] PARSE : Nombre de lignes (local) = 100000 (ParallelLoader.java:218) -2019-06-05T18:37 [INFO] PARSE : memusage init = (ParallelLoader.java:112) -2019-06-05T18:37 [INFO][MEMORY] 537,997 (ParallelLoader.java:114) -2019-06-05T18:37 [INFO] Loader : nombre de résultats (total) lus = 300000 temps écoulé = 0.042 sactiveThreadN
\ No newline at end of file diff --git a/repo/testdata/repo_8k/00000/chunks/000000000000002 b/repo/testdata/repo_8k/00000/chunks/000000000000002 deleted file mode 100644 index 079ca90..0000000 --- a/repo/testdata/repo_8k/00000/chunks/000000000000002 +++ /dev/null @@ -1,98 +0,0 @@ -b = 0 (ParallelLoader.java:150) -2019-06-05T18:37 [ERROR] debugCount = 0 (ParallelLoader.java:203) -2019-06-05T18:37 [WARNING] Fail to save entry number 0: incorrect data (ParallelLoaderRunnable.java:287) -2019-06-05T18:37 [INFO] Parsing terminé !! temps écoulé = 1.23 s (ParallelLoader.java:217) -2019-06-05T18:37 [INFO] PARSE : Nombre de lignes (local) = 100000 (ParallelLoader.java:218) -2019-06-05T18:38 [DEBUG] TableHandler.flushAllIndexOnDisk : size = 0 (Table.java:334) -2019-06-05T18:38 [INFO] SerialStructure.writeStructure : OK ! (SerialStructure.java:54) -2019-06-05T18:38 [INFO] PARSE : memusage init = (ParallelLoader.java:112) -2019-06-05T18:38 [INFO][MEMORY] 498,154 (ParallelLoader.java:114) -2019-06-05T18:38 [INFO] Loader : nombre de résultats (total) lus = 400000 temps écoulé = 0.031 sactiveThreadNb = 0 (ParallelLoader.java:150) -2019-06-05T18:38 [ERROR] debugCount = 0 (ParallelLoader.java:203) -2019-06-05T18:38 [WARNING] Fail to save entry number 0: incorrect data (ParallelLoaderRunnable.java:287) -2019-06-05T18:38 [INFO] Parsing terminé !! temps écoulé = 1.10 s (ParallelLoader.java:217) -2019-06-05T18:38 [INFO] PARSE : Nombre de lignes (local) = 100000 (ParallelLoader.java:218) -2019-06-05T18:39 [DEBUG] TableHandler.flushAllIndexOnDisk : size = 0 (Table.java:334) -2019-06-05T18:39 [INFO] SerialStructure.writeStructure : OK ! (SerialStructure.java:54) -2019-06-05T18:40 [INFO] PARSE : memusage init = (ParallelLoader.java:112) -2019-06-05T18:40 [INFO][MEMORY] 493,228 (ParallelLoader.java:114) -2019-06-05T18:40 [INFO] Loader : nombre de résultats (total) lus = 500000 temps écoulé = 0.032 sactiveThreadNb = 0 (ParallelLoader.java:150) -2019-06-05T18:40 [ERROR] debugCount = 0 (ParallelLoader.java:203) -2019-06-05T18:40 [WARNING] Fail to save entry number 0: incorrect data (ParallelLoaderRunnable.java:287) -2019-06-05T18:40 [INFO] Parsing terminé !! temps écoulé = 1.02 s (ParallelLoader.java:217) -2019-06-05T18:40 [INFO] PARSE : Nombre de lignes (local) = 100000 (ParallelLoader.java:218) -2019-06-05T20:14 [ERROR] SerialStructure.loadStructure : impossible de charger la structure du disque. (SerialStructure.java:73) -2019-06-05T20:14 [ERROR] null (SerialStructure.java:74) -2019-06-05T20:15 [DEBUG] TableHandler.flushAllIndexOnDisk : size = 0 (Table.java:334) -2019-06-05T20:15 [INFO] SerialStructure.writeStructure : OK ! (SerialStructure.java:54) -2019-06-05T20:15 [INFO] PARSE : memusage init = (ParallelLoader.java:112) -2019-06-05T20:15 [INFO][MEMORY] 188,768 (ParallelLoader.java:114) -2019-06-05T20:15 [INFO] Loader : nombre de résultats (total) lus = 100000 temps écoulé = 0.301 sactiveThreadNb = 0 (ParallelLoader.java:150) -2019-06-05T20:15 [ERROR] debugCount = 0 (ParallelLoader.java:203) -2019-06-05T20:15 [WARNING] Fail to save entry number 0: incorrect data (ParallelLoaderRunnable.java:287) -2019-06-05T20:15 [INFO] Parsing terminé !! temps écoulé = 2.42 s (ParallelLoader.java:217) -2019-06-05T20:15 [INFO] PARSE : Nombre de lignes (local) = 100000 (ParallelLoader.java:218) -2019-06-05T20:15 [DEBUG] TableHandler.flushAllIndexOnDisk : size = 0 (Table.java:334) -2019-06-05T20:15 [INFO] SerialStructure.writeStructure : OK ! (SerialStructure.java:54) -2019-06-05T20:16 [INFO] PARSE : memusage init = (ParallelLoader.java:112) -2019-06-05T20:16 [INFO][MEMORY] 457,918 (ParallelLoader.java:114) -2019-06-05T20:16 [INFO] Loader : nombre de résultats (total) lus = 200000 temps écoulé = 0.049 sactiveThreadNb = 0 (ParallelLoader.java:150) -2019-06-05T20:16 [ERROR] debugCount = 0 (ParallelLoader.java:203) -2019-06-05T20:16 [WARNING] Fail to save entry number 0: incorrect data (ParallelLoaderRunnable.java:287) -2019-06-05T20:16 [INFO] Parsing terminé !! temps écoulé = 1.34 s (ParallelLoader.java:217) -2019-06-05T20:16 [INFO] PARSE : Nombre de lignes (local) = 100000 (ParallelLoader.java:218) -2019-06-05T20:19 [INFO] SerialStructure.loadStructure : OK ! (SerialStructure.java:71) -2019-06-05T20:19 [INFO] PARSE : memusage init = (ParallelLoader.java:112) -2019-06-05T20:19 [INFO][MEMORY] 180,323 (ParallelLoader.java:114) -2019-06-05T20:19 [INFO] Loader : nombre de résultats (total) lus = 100000 temps écoulé = 0.178 sactiveThreadNb = 0 (ParallelLoader.java:150) -2019-06-05T20:19 [ERROR] debugCount = 0 (ParallelLoader.java:203) -2019-06-05T20:19 [WARNING] Fail to save entry number 0: incorrect data (ParallelLoaderRunnable.java:287) -2019-06-05T20:19 [INFO] Parsing terminé !! temps écoulé = 1.92 s (ParallelLoader.java:217) -2019-06-05T20:19 [INFO] PARSE : Nombre de lignes (local) = 100000 (ParallelLoader.java:218) -2019-06-05T20:24 [INFO] SerialStructure.loadStructure : OK ! (SerialStructure.java:71) -2019-06-05T20:25 [INFO] SerialStructure.loadStructure : OK ! (SerialStructure.java:71) -2019-06-05T20:43 [INFO] SerialStructure.loadStructure : OK ! (SerialStructure.java:71) -2019-06-05T20:43 [INFO] PARSE : memusage init = (ParallelLoader.java:112) -2019-06-05T20:43 [INFO][MEMORY] 179,894 (ParallelLoader.java:114) -2019-06-05T20:43 [INFO] Loader : nombre de résultats (total) lus = 100000 temps écoulé = 0.133 sactiveThreadNb = 0 (ParallelLoader.java:150) -2019-06-05T20:43 [ERROR] debugCount = 0 (ParallelLoader.java:203) -2019-06-05T20:43 [WARNING] Fail to save entry number 0: incorrect data (ParallelLoaderRunnable.java:287) -2019-06-05T20:43 [INFO] Parsing terminé !! temps écoulé = 2.14 s (ParallelLoader.java:217) -2019-06-05T20:43 [INFO] PARSE : Nombre de lignes (local) = 100000 (ParallelLoader.java:218) -2019-06-05T20:50 [INFO] SerialStructure.loadStructure : OK ! (SerialStructure.java:71) -2019-06-05T20:50 [INFO] SerialStructure.loadStructure : OK ! (SerialStructure.java:71) -2019-06-05T21:56 [ERROR] SerialStructure.loadStructure : impossible de charger la structure du disque. -2019-06-05T21:56 [ERROR] null -2019-06-05T22:41 [ERROR] SerialStructure.loadStructure : impossible de charger la structure du disque. -2019-06-05T22:41 [ERROR] null -2019-06-05T22:42 [ERROR] SerialStructure.loadStructure : impossible de charger la structure du disque. -2019-06-05T22:42 [ERROR] null -2019-06-05T22:42 [ERROR] SerialStructure.loadStructure : impossible de charger la structure du disque. -2019-06-05T22:42 [ERROR] null -2019-06-05T22:42 [ERROR] SerialStructure.loadStructure : impossible de charger la structure du disque. -2019-06-05T22:42 [ERROR] null -2019-06-05T23:03 [ERROR] SerialStructure.loadStructure : impossible de charger la structure du disque. -2019-06-05T23:03 [ERROR] null -2019-06-05T23:04 [INFO] SerialStructure.writeStructure : OK ! -2019-06-05T23:04 [INFO] totalLength = 0 -2019-06-05T23:04 [INFO] totalLength = 0 -2019-06-05T23:04 [INFO] PARSE : memusage init = -2019-06-05T23:04 [INFO][MEMORY] 111,311 -2019-06-05T23:04 [INFO] Loader : nombre de résultats (total) lus = 100000 temps écoulé = 0.256 sactiveThreadNb = 0 -2019-06-05T23:04 [WARNING] Fail to save entry number 0: incorrect data -2019-06-05T23:04 [INFO] Parsing terminé !! temps écoulé = 2.57 s -2019-06-05T23:04 [INFO] PARSE : Nombre de lignes (local) = 100000 -2019-06-05T23:04 [INFO] totalLength = 99999 -2019-06-05T23:04 [INFO] totalLength = 99999 -2019-06-05T00:03 [ERROR] config.json (No such file or directory) (Database.java:33) -2019-06-05T00:03 [INFO][MEMORY] Mem usage début - 2,459 (ParallelLoaderTest.java:56) -2019-06-05T20:12 [INFO] Parsing de csvName = testdata/SMALL_100_000_yellow_tripdata_2015-04.csv (IndexMemDicStorageTests.java:180) -2019-06-05T20:12 [INFO] PARSE : memusage init = (ParallelLoader.java:112) -2019-06-05T20:12 [INFO][MEMORY] 27,443 (ParallelLoader.java:114) -2019-06-05T20:12 [INFO] Loader : nombre de résultats (total) lus = 100000 temps écoulé = 0.214 sactiveThreadNb = 0 (ParallelLoader.java:150) -2019-06-05T20:12 [ERROR] debugCount = 0 (ParallelLoader.java:203) -2019-06-05T20:12 [WARNING] Fail to save entry number 0: incorrect data (ParallelLoaderRunnable.java:287) -2019-06-05T20:12 [INFO] Parsing terminé !! temps écoulé = 1.44 s (ParallelLoader.java:217) -2019-06-05T20:12 [INFO] PARSE : Nombre de lignes (local) = 100000 (ParallelLoader.java:218) -2019-06-05T20:12 [INFO][TIMER] TEMPS TOTAL PRIS PAR TOUS LES PARSINGS: 1.45 s (IndexMemDicStorageTests.java:183) -2019-06-05T20:12 [INFO][TIME
\ No newline at end of file diff --git a/repo/testdata/repo_8k/00000/chunks/000000000000003 b/repo/testdata/repo_8k/00000/chunks/000000000000003 deleted file mode 100644 index 8720f6b..0000000 --- a/repo/testdata/repo_8k/00000/chunks/000000000000003 +++ /dev/null @@ -1,85 +0,0 @@ -R] Temps pris pour classer la 1ère fois: 0.477 s (IndexMemDicStorageTests.java:83) -2019-06-05T20:12 [INFO][TIMER] Temps pris pour classer la 2ème fois: 0.054 s (IndexMemDicStorageTests.java:86) -2019-06-05T20:12 [INFO] Recherche A OK ! Nb résultats selon A : 263 (IndexMemDicStorageTests.java:108) -2019-06-05T20:12 [INFO] Recherche B OK ! Nb résultats selon B : 263 (IndexMemDicStorageTests.java:111) -2019-06-05T20:12 [INFO] Recherche C OK ! Nb résultats selon C : 263 (IndexMemDicStorageTests.java:114) -2019-06-05T20:12 [INFO] resultsPositionsArray.length = 263 (IndexMemDicStorageTests.java:117) -2019-06-05T20:12 [INFO] Parsing de csvName = testdata/SMALL_100_000_yellow_tripdata_2015-04.csv (NewLoaderAndIndexTest.java:170) -2019-06-05T20:12 [INFO] PARSE : memusage init = (ParallelLoader.java:112) -2019-06-05T20:12 [INFO][MEMORY] 190,485 (ParallelLoader.java:114) -2019-06-05T20:12 [INFO] Loader : nombre de résultats (total) lus = 200000 temps écoulé = 0.064 sactiveThreadNb = 0 (ParallelLoader.java:150) -2019-06-05T20:12 [ERROR] debugCount = 0 (ParallelLoader.java:203) -2019-06-05T20:12 [WARNING] Fail to save entry number 0: incorrect data (ParallelLoaderRunnable.java:287) -2019-06-05T20:12 [INFO] Parsing terminé !! temps écoulé = 0.908 s (ParallelLoader.java:217) -2019-06-05T20:12 [INFO] PARSE : Nombre de lignes (local) = 100000 (ParallelLoader.java:218) -2019-06-05T20:12 [INFO][TIMER] TEMPS TOTAL PRIS PAR TOUS LES PARSINGS: 0.917 s (NewLoaderAndIndexTest.java:189) -2019-06-05T20:12 [INFO] Bon nombre total de lignes ! nombre = 99999 (NewLoaderAndIndexTest.java:193) -2019-06-05T20:12 [INFO] Recherche A OK ! Nb résultats selon A : 263 (NewLoaderAndIndexTest.java:71) -2019-06-05T20:12 [INFO] Recherche B OK ! Nb résultats selon B : 263 (NewLoaderAndIndexTest.java:74) -2019-06-05T20:12 [INFO] Recherche C OK ! Nb résultats selon C : 263 (NewLoaderAndIndexTest.java:77) -2019-06-05T20:12 [INFO] resultsPositionsArray.length = 263 (NewLoaderAndIndexTest.java:80) -2019-06-05T20:12 [INFO] Recherche FLAG OK ! Nb résultats avec FLAG : 175 index len = 99999 (NewLoaderAndIndexTest.java:101) -2019-06-05T20:12 [INFO] Recherche STRUCT OK ! Nb résultats avec restructuration : 175 index len = 66666 (NewLoaderAndIndexTest.java:109) -2019-06-05T20:12 [INFO] setUpBeforeAll (IndexTreeMessyTest.java:73) -2019-06-05T20:12 [INFO] Nombre de résultats/entrées parsés INIT : 0 (IndexTreeMessyTest.java:186) -2019-06-05T20:12 [WARNING] Fail to save entry number 0: incorrect data (Loader.java:107) -2019-06-05T20:12 [WARNING] Fail to save entry number 0: incorrect data (Loader.java:107) -2019-06-05T20:12 [INFO] Loader : nombre de résultats (local) parsés = 0 temps écoulé = 0.57 millis (Loader.java:116) -2019-06-05T20:12 [INFO] Loader : nombre de résultats (local) parsés = 0 temps écoulé = 0.56 millis (Loader.java:116) -2019-06-05T20:12 [INFO][MEMORY] 401,153 (Loader.java:117) -2019-06-05T20:12 [INFO][MEMORY] 401,153 (Loader.java:117) -2019-06-05T20:12 [WARNING] Fail to save entry number 0: incorrect data (Loader.java:107) -2019-06-05T20:12 [INFO] Loader : nombre de résultats (local) parsés = 0 temps écoulé = 0.33 millis (Loader.java:116) -2019-06-05T20:12 [INFO][MEMORY] 273,252 (Loader.java:117) -2019-06-05T20:12 [WARNING] Fail to save entry number 0: incorrect data (Loader.java:107) -2019-06-05T20:12 [INFO] Loader : nombre de résultats (local) parsés = 0 temps écoulé = 1.97 millis (Loader.java:116) -2019-06-05T20:12 [INFO][MEMORY] 273,252 (Loader.java:117) -2019-06-05T20:13 [INFO] PARSE : FINAL USAGE (Loader.java:136) -2019-06-05T20:13 [INFO][MEMORY] 216,262 (Loader.java:138) -2019-06-05T20:13 [INFO] PARSE : FINAL USAGE (Loader.java:136) -2019-06-05T20:13 [INFO][MEMORY] 221,186 (Loader.java:138) -2019-06-05T20:13 [INFO] PARSE : FINAL USAGE (Loader.java:136) -2019-06-05T20:13 [INFO][MEMORY] 218,771 (Loader.java:138) -2019-06-05T20:13 [INFO] PARSE : FINAL USAGE (Loader.java:136) -2019-06-05T20:13 [INFO][MEMORY] 216,694 (Loader.java:138) -2019-06-05T20:13 [INFO][TIMER] TEMPS TOTAL pris par le parsing: 6.57 s (IndexTreeMessyTest.java:314) -2019-06-05T20:13 [INFO] setUpBeforeAll OK (IndexTreeMessyTest.java:322) -2019-06-05T20:13 [DEBUG] TableHandler.flushAllIndexOnDisk : size = 15 (Table.java:334) -2019-06-05T20:13 [INFO][MEMORY] IndexTreeDic.flushOnDisk 222,432 (IndexTreeDic.java:517) -2019-06-05T20:13 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@2bef09c0 (Table.java:338) -2019-06-05T20:13 [INFO][MEMORY] IndexTreeDic.flushOnDisk 222,693 (IndexTreeDic.java:517) -2019-06-05T20:13 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@62ce72ff (Table.java:338) -2019-06-05T20:13 [INFO][MEMORY] IndexTreeDic.flushOnDisk 222,693 (IndexTreeDic.java:517) -2019-06-05T20:13 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@58a63629 (Table.java:338) -2019-06-05T20:13 [INFO][MEMORY] IndexTreeDic.flushOnDisk 222,693 (IndexTreeDic.java:517) -2019-06-05T20:13 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@7de843ef (Table.java:338) -2019-06-05T20:13 [INFO][MEMORY] IndexTreeDic.flushOnDisk 222,693 (IndexTreeDic.java:517) -2019-06-05T20:13 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@2e1af49b (Table.java:338) -2019-06-05T20:13 [INFO][MEMORY] IndexTreeDic.flushOnDisk 222,693 (IndexTreeDic.java:517) -2019-06-05T20:13 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@3fd2322d (Table.java:338) -2019-06-05T20:13 [INFO][MEMORY] IndexTreeDic.flushOnDisk 222,693 (IndexTreeDic.java:517) -2019-06-05T20:13 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@56ac5c80 (Table.java:338) -2019-06-05T20:13 [INFO][MEMORY] IndexTreeDic.flushOnDisk 222,693 (IndexTreeDic.java:517) -2019-06-05T20:13 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@69e49a81 (Table.java:338) -2019-06-05T20:13 [INFO][MEMORY] IndexTreeDic.flushOnDisk 222,693 (IndexTreeDic.java:517) -2019-06-05T20:13 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@1023150a (Table.java:338) -2019-06-05T20:13 [INFO][MEMORY] IndexTreeDic.flushOnDisk 222,693 (IndexTreeDic.java:517) -2019-06-05T20:13 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@3ece1e79 (Table.java:338) -2019-06-05T20:13 [INFO][MEMORY] IndexTreeDic.flushOnDisk 222,693 (IndexTreeDic.java:517) -2019-06-05T20:13 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@ab20d7c (Table.java:338) -2019-06-05T20:13 [INFO][MEMORY] IndexTreeDic.flushOnDisk 222,693 (IndexTreeDic.java:517) -2019-06-05T20:13 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@474fae39 (Table.java:338) -2019-06-05T20:13 [INFO][MEMORY] IndexTreeDic.flushOnDisk 222,693 (IndexTreeDic.java:517) -2019-06-05T20:13 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@4f4c789f (Table.java:338) -2019-06-05T20:13 [INFO][MEMORY] IndexTreeDic.flushOnDisk 222,693 (IndexTreeDic.java:517) -2019-06-05T20:13 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@13f9ad9 (Table.java:338) -2019-06-05T20:13 [INFO][MEMORY] IndexTreeDic.flushOnDisk 222,693 (IndexTreeDic.java:517) -2019-06-05T20:13 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@1b7cae6f (Table.java:338) -2019-06-05T20:13 [ERROR] SerialStructure.writeStructure : impossible de sauvegarder la structure du disque. (SerialStructure.java:56) -2019-06-05T20:13 [ERROR] java.nio.HeapByteBuffer (SerialStructure.java:57) -2019-06-05T20:13 [ERROR] SerialStructure.loadStructure : impossible de charger la structure du disque. (SerialStructure.java:73) -2019-06-05T20:13 [ERROR] null (SerialStructure.java:74) -2019-06-05T20:13 [INFO] Lancé (IndexTreeMessyTest.java:366) -2019-06-05T20:13 [INFO][TIMER] tempsPrisPourRecherchesSurFichiers: 48 millis (IndexTreeDic.java:1164) -2019-06-05T20:13 [INFO][TIMER] Temps total recherche: 0.051 s (IndexTreeMessyTest.java:408) -2019-06-05T20:13 [INFO][TIMER] Temps parcours des résultats: 1.72 millis (IndexTreeMessyTest.ja
\ No newline at end of file diff --git a/repo/testdata/repo_8k/00000/chunks/000000000000004 b/repo/testdata/repo_8k/00000/chunks/000000000000004 deleted file mode 100644 index f05dda7..0000000 --- a/repo/testdata/repo_8k/00000/chunks/000000000000004 +++ /dev/null @@ -1,87 +0,0 @@ -va:416) -2019-06-05T20:13 [INFO] Nombre de résultats = 3116 (IndexTreeMessyTest.java:417) -2019-06-05T20:13 [INFO][TIMER] tempsPrisPourRecherchesSurFichiers: 9 millis (IndexTreeDic.java:1164) -2019-06-05T20:13 [INFO][TIMER] Temps total recherche: 0.011 s (IndexTreeMessyTest.java:425) -2019-06-05T20:13 [INFO][TIMER] 1Temps d'acquisition des résultats (chargement du disque de tous les champs): 0.125 s (IndexTreeMessyTest.java:439) -2019-06-05T20:13 [INFO][TIMER] 2Temps d'acquisition des résultats certains champs seulement: 0.041 s (IndexTreeMessyTest.java:449) -2019-06-05T20:13 [INFO] Nombre de résultats = 700 (IndexTreeMessyTest.java:450) -2019-06-05T20:13 [INFO][TIMER] tempsPrisPourRecherchesSurFichiers: 4 millis (IndexTreeDic.java:1164) -2019-06-05T20:13 [INFO] Nombre de résultats (pour 18 exact) = 116 (IndexTreeMessyTest.java:456) -2019-06-05T20:13 [INFO] 40 (HashMapTests.java:27) -2019-06-05T20:13 [INFO][MEMORY] Mem usage début - 157,206 (ParallelLoaderTest.java:56) -2019-06-05T20:13 [INFO] Parsing de csvName = E:/csv/yellow_tripdata_2015-01.csv (ParallelLoaderTest.java:64) -2019-06-05T20:13 [INFO] Parsing de csvName = testdata/SMALL_100_000_yellow_tripdata_2015-04.csv (IndexMemDicStorageTests.java:180) -2019-06-05T20:13 [INFO] PARSE : memusage init = (ParallelLoader.java:112) -2019-06-05T20:13 [INFO][MEMORY] 28,086 (ParallelLoader.java:114) -2019-06-05T20:13 [INFO] Loader : nombre de résultats (total) lus = 100000 temps écoulé = 0.182 sactiveThreadNb = 0 (ParallelLoader.java:150) -2019-06-05T20:13 [ERROR] debugCount = 0 (ParallelLoader.java:203) -2019-06-05T20:13 [WARNING] Fail to save entry number 0: incorrect data (ParallelLoaderRunnable.java:287) -2019-06-05T20:13 [INFO] Parsing terminé !! temps écoulé = 1.43 s (ParallelLoader.java:217) -2019-06-05T20:13 [INFO] PARSE : Nombre de lignes (local) = 100000 (ParallelLoader.java:218) -2019-06-05T20:13 [INFO][TIMER] TEMPS TOTAL PRIS PAR TOUS LES PARSINGS: 1.44 s (IndexMemDicStorageTests.java:183) -2019-06-05T20:13 [INFO][TIMER] Temps pris pour classer la 1ère fois: 0.356 s (IndexMemDicStorageTests.java:83) -2019-06-05T20:13 [INFO][TIMER] Temps pris pour classer la 2ème fois: 0.032 s (IndexMemDicStorageTests.java:86) -2019-06-05T20:13 [INFO] Recherche A OK ! Nb résultats selon A : 263 (IndexMemDicStorageTests.java:108) -2019-06-05T20:13 [INFO] Recherche B OK ! Nb résultats selon B : 263 (IndexMemDicStorageTests.java:111) -2019-06-05T20:13 [INFO] Recherche C OK ! Nb résultats selon C : 263 (IndexMemDicStorageTests.java:114) -2019-06-05T20:13 [INFO] resultsPositionsArray.length = 263 (IndexMemDicStorageTests.java:117) -2019-06-05T20:13 [INFO] Parsing de csvName = testdata/SMALL_100_000_yellow_tripdata_2015-04.csv (NewLoaderAndIndexTest.java:170) -2019-06-05T20:13 [INFO] PARSE : memusage init = (ParallelLoader.java:112) -2019-06-05T20:13 [INFO][MEMORY] 184,068 (ParallelLoader.java:114) -2019-06-05T20:13 [INFO] Loader : nombre de résultats (total) lus = 200000 temps écoulé = 0.052 sactiveThreadNb = 0 (ParallelLoader.java:150) -2019-06-05T20:13 [ERROR] debugCount = 0 (ParallelLoader.java:203) -2019-06-05T20:13 [WARNING] Fail to save entry number 0: incorrect data (ParallelLoaderRunnable.java:287) -2019-06-05T20:13 [INFO] Parsing terminé !! temps écoulé = 0.941 s (ParallelLoader.java:217) -2019-06-05T20:13 [INFO] PARSE : Nombre de lignes (local) = 100000 (ParallelLoader.java:218) -2019-06-05T20:13 [INFO][TIMER] TEMPS TOTAL PRIS PAR TOUS LES PARSINGS: 0.945 s (NewLoaderAndIndexTest.java:189) -2019-06-05T20:13 [INFO] Bon nombre total de lignes ! nombre = 99999 (NewLoaderAndIndexTest.java:193) -2019-06-05T20:13 [INFO] Recherche A OK ! Nb résultats selon A : 263 (NewLoaderAndIndexTest.java:71) -2019-06-05T20:13 [INFO] Recherche B OK ! Nb résultats selon B : 263 (NewLoaderAndIndexTest.java:74) -2019-06-05T20:13 [INFO] Recherche C OK ! Nb résultats selon C : 263 (NewLoaderAndIndexTest.java:77) -2019-06-05T20:13 [INFO] resultsPositionsArray.length = 263 (NewLoaderAndIndexTest.java:80) -2019-06-05T20:13 [INFO] Recherche FLAG OK ! Nb résultats avec FLAG : 175 index len = 99999 (NewLoaderAndIndexTest.java:101) -2019-06-05T20:13 [INFO] Recherche STRUCT OK ! Nb résultats avec restructuration : 175 index len = 66666 (NewLoaderAndIndexTest.java:109) -2019-06-05T20:13 [INFO] setUpBeforeAll (IndexTreeMessyTest.java:73) -2019-06-05T20:13 [INFO] Nombre de résultats/entrées parsés INIT : 0 (IndexTreeMessyTest.java:186) -2019-06-05T20:13 [WARNING] Fail to save entry number 0: incorrect data (Loader.java:107) -2019-06-05T20:13 [INFO] Loader : nombre de résultats (local) parsés = 0 temps écoulé = 0.70 millis (Loader.java:116) -2019-06-05T20:13 [INFO][MEMORY] 276,783 (Loader.java:117) -2019-06-05T20:13 [WARNING] Fail to save entry number 0: incorrect data (Loader.java:107) -2019-06-05T20:13 [INFO] Loader : nombre de résultats (local) parsés = 0 temps écoulé = 0.69 millis (Loader.java:116) -2019-06-05T20:13 [INFO][MEMORY] 341,077 (Loader.java:117) -2019-06-05T20:13 [WARNING] Fail to save entry number 0: incorrect data (Loader.java:107) -2019-06-05T20:13 [INFO] Loader : nombre de résultats (local) parsés = 0 temps écoulé = 3.09 millis (Loader.java:116) -2019-06-05T20:13 [INFO][MEMORY] 358,336 (Loader.java:117) -2019-06-05T20:13 [WARNING] Fail to save entry number 0: incorrect data (Loader.java:107) -2019-06-05T20:13 [INFO] Loader : nombre de résultats (local) parsés = 0 temps écoulé = 5.74 millis (Loader.java:116) -2019-06-05T20:13 [INFO][MEMORY] 358,336 (Loader.java:117) -2019-06-05T20:13 [INFO] PARSE : FINAL USAGE (Loader.java:136) -2019-06-05T20:13 [INFO][MEMORY] 218,799 (Loader.java:138) -2019-06-05T20:13 [INFO] PARSE : FINAL USAGE (Loader.java:136) -2019-06-05T20:13 [INFO][MEMORY] 218,840 (Loader.java:138) -2019-06-05T20:13 [INFO] PARSE : FINAL USAGE (Loader.java:136) -2019-06-05T20:13 [INFO][MEMORY] 223,379 (Loader.java:138) -2019-06-05T20:13 [INFO] PARSE : FINAL USAGE (Loader.java:136) -2019-06-05T20:13 [INFO][MEMORY] 216,694 (Loader.java:138) -2019-06-05T20:13 [INFO][TIMER] TEMPS TOTAL pris par le parsing: 6.18 s (IndexTreeMessyTest.java:314) -2019-06-05T20:13 [INFO] setUpBeforeAll OK (IndexTreeMessyTest.java:322) -2019-06-05T20:13 [DEBUG] TableHandler.flushAllIndexOnDisk : size = 15 (Table.java:334) -2019-06-05T20:13 [INFO][MEMORY] IndexTreeDic.flushOnDisk 222,326 (IndexTreeDic.java:517) -2019-06-05T20:13 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@2881ad47 (Table.java:338) -2019-06-05T20:13 [INFO][MEMORY] IndexTreeDic.flushOnDisk 222,326 (IndexTreeDic.java:517) -2019-06-05T20:13 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@2bef09c0 (Table.java:338) -2019-06-05T20:13 [INFO][MEMORY] IndexTreeDic.flushOnDisk 222,326 (IndexTreeDic.java:517) -2019-06-05T20:13 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@62ce72ff (Table.java:338) -2019-06-05T20:13 [INFO][MEMORY] IndexTreeDic.flushOnDisk 222,326 (IndexTreeDic.java:517) -2019-06-05T20:13 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@58a63629 (Table.java:338) -2019-06-05T20:13 [INFO][MEMORY] IndexTreeDic.flushOnDisk 222,326 (IndexTreeDic.java:517) -2019-06-05T20:13 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@7de843ef (Table.java:338) -2019-06-05T20:13 [INFO][MEMORY] IndexTreeDic.flushOnDisk 222,326 (IndexTreeDic.java:517) -2019-06-05T20:13 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@2e1af49b (Table.java:338) -2019-06-05T20:13 [INFO][MEMORY] IndexTreeDic.flushOnDisk 222,326 (IndexTreeDic.java:517) -2019-06-05T20:13 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@3fd2322d (Table.java:338) -2019-06-05T20:13 [INFO][MEMORY] IndexTreeDic.flushOnDisk 222,326 (IndexTreeDic.java:517) -2019-06-05T20:13 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@56ac5c80 (Table.java:338) -2019-06-05T20:13 [INFO][MEMORY] IndexTreeDic.flushOnDisk 222,326 (IndexTreeDic.java:517) -2019-06-05T20:13 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@69e49a81 (Table.java:338) -2019-06-05T20:13 [INFO]
\ No newline at end of file diff --git a/repo/testdata/repo_8k/00000/chunks/000000000000005 b/repo/testdata/repo_8k/00000/chunks/000000000000005 deleted file mode 100644 index 0134101..0000000 --- a/repo/testdata/repo_8k/00000/chunks/000000000000005 +++ /dev/null @@ -1,87 +0,0 @@ -[MEMORY] IndexTreeDic.flushOnDisk 222,326 (IndexTreeDic.java:517) -2019-06-05T20:13 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@1023150a (Table.java:338) -2019-06-05T20:13 [INFO][MEMORY] IndexTreeDic.flushOnDisk 222,326 (IndexTreeDic.java:517) -2019-06-05T20:13 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@3ece1e79 (Table.java:338) -2019-06-05T20:13 [INFO][MEMORY] IndexTreeDic.flushOnDisk 222,326 (IndexTreeDic.java:517) -2019-06-05T20:13 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@ab20d7c (Table.java:338) -2019-06-05T20:13 [INFO][MEMORY] IndexTreeDic.flushOnDisk 222,326 (IndexTreeDic.java:517) -2019-06-05T20:13 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@474fae39 (Table.java:338) -2019-06-05T20:13 [INFO][MEMORY] IndexTreeDic.flushOnDisk 222,326 (IndexTreeDic.java:517) -2019-06-05T20:13 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@4f4c789f (Table.java:338) -2019-06-05T20:13 [INFO][MEMORY] IndexTreeDic.flushOnDisk 222,326 (IndexTreeDic.java:517) -2019-06-05T20:13 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@13f9ad9 (Table.java:338) -2019-06-05T20:13 [ERROR] SerialStructure.writeStructure : impossible de sauvegarder la structure du disque. (SerialStructure.java:56) -2019-06-05T20:13 [ERROR] java.nio.HeapByteBuffer (SerialStructure.java:57) -2019-06-05T20:13 [ERROR] SerialStructure.loadStructure : impossible de charger la structure du disque. (SerialStructure.java:73) -2019-06-05T20:13 [ERROR] null (SerialStructure.java:74) -2019-06-05T20:13 [INFO] Lancé (IndexTreeMessyTest.java:366) -2019-06-05T20:13 [INFO][TIMER] tempsPrisPourRecherchesSurFichiers: 58 millis (IndexTreeDic.java:1164) -2019-06-05T20:13 [INFO][TIMER] Temps total recherche: 0.061 s (IndexTreeMessyTest.java:408) -2019-06-05T20:13 [INFO][TIMER] Temps parcours des résultats: 1.25 millis (IndexTreeMessyTest.java:416) -2019-06-05T20:13 [INFO] Nombre de résultats = 3116 (IndexTreeMessyTest.java:417) -2019-06-05T20:13 [INFO][TIMER] tempsPrisPourRecherchesSurFichiers: 7 millis (IndexTreeDic.java:1164) -2019-06-05T20:13 [INFO][TIMER] Temps total recherche: 8.20 millis (IndexTreeMessyTest.java:425) -2019-06-05T20:13 [INFO][TIMER] 1Temps d'acquisition des résultats (chargement du disque de tous les champs): 0.072 s (IndexTreeMessyTest.java:439) -2019-06-05T20:13 [INFO][TIMER] 2Temps d'acquisition des résultats certains champs seulement: 0.040 s (IndexTreeMessyTest.java:449) -2019-06-05T20:13 [INFO] Nombre de résultats = 700 (IndexTreeMessyTest.java:450) -2019-06-05T20:13 [INFO][TIMER] tempsPrisPourRecherchesSurFichiers: 3 millis (IndexTreeDic.java:1164) -2019-06-05T20:13 [INFO] Nombre de résultats (pour 18 exact) = 116 (IndexTreeMessyTest.java:456) -2019-06-05T20:13 [INFO] 40 (HashMapTests.java:27) -2019-06-05T20:13 [INFO][MEMORY] Mem usage début - 157,225 (ParallelLoaderTest.java:56) -2019-06-05T20:13 [INFO] Parsing de csvName = testdata/SMALL_100_000_yellow_tripdata_2015-04.csv (ParallelLoaderTest.java:64) -2019-06-05T20:13 [INFO] PARSE : memusage init = (ParallelLoader.java:112) -2019-06-05T20:13 [INFO][MEMORY] 166,226 (ParallelLoader.java:114) -2019-06-05T20:13 [INFO] Loader : nombre de résultats (total) lus = 300000 temps écoulé = 0.041 sactiveThreadNb = 0 (ParallelLoader.java:150) -2019-06-05T20:13 [ERROR] debugCount = 0 (ParallelLoader.java:203) -2019-06-05T20:13 [WARNING] Fail to save entry number 0: incorrect data (ParallelLoaderRunnable.java:287) -2019-06-05T20:14 [INFO] Parsing terminé !! temps écoulé = 0.638 s (ParallelLoader.java:217) -2019-06-05T20:14 [INFO] PARSE : Nombre de lignes (local) = 100000 (ParallelLoader.java:218) -2019-06-05T20:14 [INFO] Parsing de csvName = testdata/SMALL_100_000_yellow_tripdata_2015-04.csv (ParallelLoaderTest.java:64) -2019-06-05T20:14 [INFO] PARSE : memusage init = (ParallelLoader.java:112) -2019-06-05T20:14 [INFO][MEMORY] 422,898 (ParallelLoader.java:114) -2019-06-05T20:14 [INFO] Loader : nombre de résultats (total) lus = 400000 temps écoulé = 0.040 sactiveThreadNb = 0 (ParallelLoader.java:150) -2019-06-05T20:14 [ERROR] debugCount = 0 (ParallelLoader.java:203) -2019-06-05T20:14 [WARNING] Fail to save entry number 0: incorrect data (ParallelLoaderRunnable.java:287) -2019-06-05T20:14 [INFO] Parsing terminé !! temps écoulé = 0.624 s (ParallelLoader.java:217) -2019-06-05T20:14 [INFO] PARSE : Nombre de lignes (local) = 100000 (ParallelLoader.java:218) -2019-06-05T20:14 [INFO][MEMORY] Mem usage fin - 267,348 (ParallelLoaderTest.java:113) -2019-06-05T20:14 [INFO][TIMER] TEMPS TOTAL PRIS PAR TOUS LES PARSINGS: 1.46 s (ParallelLoaderTest.java:114) -2019-06-05T20:50 [INFO] Parsing de csvName = testdata/SMALL_100_000_yellow_tripdata_2015-04.csv (IndexMemDicStorageTests.java:180) -2019-06-05T20:50 [INFO] PARSE : memusage init = (ParallelLoader.java:112) -2019-06-05T20:50 [INFO][MEMORY] 12,904 (ParallelLoader.java:114) -2019-06-05T20:50 [INFO] Loader : nombre de résultats (total) lus = 100000 temps écoulé = 0.175 sactiveThreadNb = 0 (ParallelLoader.java:150) -2019-06-05T20:50 [ERROR] debugCount = 0 (ParallelLoader.java:203) -2019-06-05T20:50 [WARNING] Fail to save entry number 0: incorrect data (ParallelLoaderRunnable.java:287) -2019-06-05T20:50 [INFO] Parsing terminé !! temps écoulé = 2.03 s (ParallelLoader.java:217) -2019-06-05T20:50 [INFO] PARSE : Nombre de lignes (local) = 100000 (ParallelLoader.java:218) -2019-06-05T20:50 [INFO][TIMER] TEMPS TOTAL PRIS PAR TOUS LES PARSINGS: 2.04 s (IndexMemDicStorageTests.java:183) -2019-06-05T20:50 [INFO] Parsing de csvName = testdata/SMALL_100_000_yellow_tripdata_2015-04.csv (NewLoaderAndIndexTest.java:170) -2019-06-05T20:50 [INFO] PARSE : memusage init = (ParallelLoader.java:112) -2019-06-05T20:50 [INFO][MEMORY] 157,253 (ParallelLoader.java:114) -2019-06-05T20:50 [INFO] Loader : nombre de résultats (total) lus = 200000 temps écoulé = 0.111 sactiveThreadNb = 0 (ParallelLoader.java:150) -2019-06-05T20:50 [ERROR] debugCount = 0 (ParallelLoader.java:203) -2019-06-05T20:50 [WARNING] Fail to save entry number 0: incorrect data (ParallelLoaderRunnable.java:287) -2019-06-05T20:50 [INFO] Parsing terminé !! temps écoulé = 0.781 s (ParallelLoader.java:217) -2019-06-05T20:50 [INFO] PARSE : Nombre de lignes (local) = 100000 (ParallelLoader.java:218) -2019-06-05T20:50 [INFO][TIMER] TEMPS TOTAL PRIS PAR TOUS LES PARSINGS: 0.787 s (NewLoaderAndIndexTest.java:189) -2019-06-05T20:50 [INFO] Bon nombre total de lignes ! nombre = 99999 (NewLoaderAndIndexTest.java:193) -2019-06-05T20:50 [INFO] setUpBeforeAll (IndexTreeMessyTest.java:73) -2019-06-05T20:50 [INFO] Nombre de résultats/entrées parsés INIT : 0 (IndexTreeMessyTest.java:186) -2019-06-05T20:50 [WARNING] Fail to save entry number 0: incorrect data (Loader.java:107) -2019-06-05T20:50 [INFO] Loader : nombre de résultats (local) parsés = 0 temps écoulé = 5.82 millis (Loader.java:116) -2019-06-05T20:50 [WARNING] Fail to save entry number 0: incorrect data (Loader.java:107) -2019-06-05T20:50 [INFO] Loader : nombre de résultats (local) parsés = 0 temps écoulé = 0.66 millis (Loader.java:116) -2019-06-05T20:50 [INFO][MEMORY] 134,560 (Loader.java:117) -2019-06-05T20:50 [INFO][MEMORY] 134,560 (Loader.java:117) -2019-06-05T20:50 [WARNING] Fail to save entry number 0: incorrect data (Loader.java:107) -2019-06-05T20:50 [INFO] Loader : nombre de résultats (local) parsés = 0 temps écoulé = 1.11 millis (Loader.java:116) -2019-06-05T20:50 [INFO][MEMORY] 152,063 (Loader.java:117) -2019-06-05T20:50 [WARNING] Fail to save entry number 0: incorrect data (Loader.java:107) -2019-06-05T20:50 [INFO] Loader : nombre de résultats (local) parsés = 0 temps écoulé = 0.011 s (Loader.java:116) -2019-06-05T20:50 [INFO][MEMORY] 168,447 (Loader.java:117) -2019-06-05T20:50 [INFO] PARSE : FINAL USAGE (Loader.java:136) -2019-06-05T20:50 [INFO] PARSE : FINAL USAGE (Loader.java:136) -2019-06-05T20:50 [INFO][MEMORY] 155,685 (Loader.java:138) -2019-06-05T20:50 [INFO][MEMORY] 156,197 (Loader.java:138) -2019-06-05T20:50 [INFO] PARSE : FINAL USAGE (Loader.java:136) -2019-06-05T20:50 [INFO][MEMORY] 155,691 (Lo
\ No newline at end of file diff --git a/repo/testdata/repo_8k/00000/chunks/000000000000006 b/repo/testdata/repo_8k/00000/chunks/000000000000006 deleted file mode 100644 index 91c72a3..0000000 --- a/repo/testdata/repo_8k/00000/chunks/000000000000006 +++ /dev/null @@ -1,84 +0,0 @@ -ader.java:138) -2019-06-05T20:50 [INFO] PARSE : FINAL USAGE (Loader.java:136) -2019-06-05T20:50 [INFO][MEMORY] 155,633 (Loader.java:138) -2019-06-05T20:50 [INFO][TIMER] TEMPS TOTAL pris par le parsing: 5.14 s (IndexTreeMessyTest.java:314) -2019-06-05T20:50 [INFO] setUpBeforeAll OK (IndexTreeMessyTest.java:322) -2019-06-05T20:50 [DEBUG] TableHandler.flushAllIndexOnDisk : size = 15 (Table.java:334) -2019-06-05T20:50 [INFO][MEMORY] IndexTreeDic.flushOnDisk 156,657 (IndexTreeDic.java:517) -2019-06-05T20:50 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@4b0b0854 (Table.java:338) -2019-06-05T20:50 [INFO][MEMORY] IndexTreeDic.flushOnDisk 156,657 (IndexTreeDic.java:517) -2019-06-05T20:50 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@19bb07ed (Table.java:338) -2019-06-05T20:51 [INFO][MEMORY] IndexTreeDic.flushOnDisk 157,033 (IndexTreeDic.java:517) -2019-06-05T20:51 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@10e41621 (Table.java:338) -2019-06-05T20:51 [INFO][MEMORY] IndexTreeDic.flushOnDisk 157,033 (IndexTreeDic.java:517) -2019-06-05T20:51 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@353d0772 (Table.java:338) -2019-06-05T20:51 [INFO][MEMORY] IndexTreeDic.flushOnDisk 157,082 (IndexTreeDic.java:517) -2019-06-05T20:51 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@2667f029 (Table.java:338) -2019-06-05T20:51 [INFO][MEMORY] IndexTreeDic.flushOnDisk 157,594 (IndexTreeDic.java:517) -2019-06-05T20:51 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@67a20f67 (Table.java:338) -2019-06-05T20:51 [INFO][MEMORY] IndexTreeDic.flushOnDisk 157,681 (IndexTreeDic.java:517) -2019-06-05T20:51 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@57c758ac (Table.java:338) -2019-06-05T20:51 [INFO][MEMORY] IndexTreeDic.flushOnDisk 157,681 (IndexTreeDic.java:517) -2019-06-05T20:51 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@a9cd3b1 (Table.java:338) -2019-06-05T20:51 [INFO][MEMORY] IndexTreeDic.flushOnDisk 157,681 (IndexTreeDic.java:517) -2019-06-05T20:51 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@13e39c73 (Table.java:338) -2019-06-05T20:51 [INFO][MEMORY] IndexTreeDic.flushOnDisk 157,915 (IndexTreeDic.java:517) -2019-06-05T20:51 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@64cd705f (Table.java:338) -2019-06-05T20:51 [INFO][MEMORY] IndexTreeDic.flushOnDisk 158,427 (IndexTreeDic.java:517) -2019-06-05T20:51 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@9225652 (Table.java:338) -2019-06-05T20:51 [INFO][MEMORY] IndexTreeDic.flushOnDisk 158,427 (IndexTreeDic.java:517) -2019-06-05T20:51 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@654f0d9c (Table.java:338) -2019-06-05T20:51 [INFO][MEMORY] IndexTreeDic.flushOnDisk 158,427 (IndexTreeDic.java:517) -2019-06-05T20:51 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@6a400542 (Table.java:338) -2019-06-05T20:51 [INFO][MEMORY] IndexTreeDic.flushOnDisk 158,427 (IndexTreeDic.java:517) -2019-06-05T20:51 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@6580cfdd (Table.java:338) -2019-06-05T20:51 [INFO][MEMORY] IndexTreeDic.flushOnDisk 158,427 (IndexTreeDic.java:517) -2019-06-05T20:51 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@7e0b85f9 (Table.java:338) -2019-06-05T20:51 [ERROR] SerialStructure.writeStructure : impossible de sauvegarder la structure du disque. (SerialStructure.java:56) -2019-06-05T20:51 [ERROR] java.nio.HeapByteBuffer (SerialStructure.java:57) -2019-06-05T20:51 [ERROR] SerialStructure.loadStructure : impossible de charger la structure du disque. (SerialStructure.java:73) -2019-06-05T20:51 [ERROR] null (SerialStructure.java:74) -2019-06-05T20:51 [INFO] Lancé (IndexTreeMessyTest.java:366) -2019-06-05T20:51 [INFO][TIMER] tempsPrisPourRecherchesSurFichiers: 31 millis (IndexTreeDic.java:1164) -2019-06-05T20:51 [INFO][TIMER] Temps total recherche: 0.037 s (IndexTreeMessyTest.java:408) -2019-06-05T20:51 [INFO][TIMER] Temps parcours des résultats: 1.96 millis (IndexTreeMessyTest.java:416) -2019-06-05T20:51 [INFO] Nombre de résultats = 3116 (IndexTreeMessyTest.java:417) -2019-06-05T20:51 [INFO][TIMER] tempsPrisPourRecherchesSurFichiers: 6 millis (IndexTreeDic.java:1164) -2019-06-05T20:51 [INFO][TIMER] Temps total recherche: 7.48 millis (IndexTreeMessyTest.java:425) -2019-06-05T20:51 [INFO][TIMER] 1Temps d'acquisition des résultats (chargement du disque de tous les champs): 0.119 s (IndexTreeMessyTest.java:439) -2019-06-05T20:51 [INFO][TIMER] 2Temps d'acquisition des résultats certains champs seulement: 0.040 s (IndexTreeMessyTest.java:449) -2019-06-05T20:51 [INFO] Nombre de résultats = 700 (IndexTreeMessyTest.java:450) -2019-06-05T20:51 [INFO][TIMER] tempsPrisPourRecherchesSurFichiers: 1 millis (IndexTreeDic.java:1164) -2019-06-05T20:51 [INFO] Nombre de résultats (pour 18 exact) = 116 (IndexTreeMessyTest.java:456) -2019-06-05T20:51 [INFO] 40 (HashMapTests.java:27) -2019-06-05T20:51 [INFO][MEMORY] Mem usage début - 88,295 (ParallelLoaderTest.java:56) -2019-06-05T20:51 [INFO] Parsing de csvName = testdata/SMALL_100_000_yellow_tripdata_2015-04.csv (ParallelLoaderTest.java:64) -2019-06-05T20:51 [INFO] PARSE : memusage init = (ParallelLoader.java:112) -2019-06-05T20:51 [INFO][MEMORY] 90,343 (ParallelLoader.java:114) -2019-06-05T20:51 [INFO] Loader : nombre de résultats (total) lus = 300000 temps écoulé = 0.064 sactiveThreadNb = 0 (ParallelLoader.java:150) -2019-06-05T20:51 [ERROR] debugCount = 0 (ParallelLoader.java:203) -2019-06-05T20:51 [WARNING] Fail to save entry number 0: incorrect data (ParallelLoaderRunnable.java:287) -2019-06-05T20:51 [INFO] Parsing terminé !! temps écoulé = 0.862 s (ParallelLoader.java:217) -2019-06-05T20:51 [INFO] PARSE : Nombre de lignes (local) = 100000 (ParallelLoader.java:218) -2019-06-05T20:51 [INFO] Parsing de csvName = testdata/SMALL_100_000_yellow_tripdata_2015-04.csv (ParallelLoaderTest.java:64) -2019-06-05T20:51 [INFO] PARSE : memusage init = (ParallelLoader.java:112) -2019-06-05T20:51 [INFO][MEMORY] 227,179 (ParallelLoader.java:114) -2019-06-05T20:51 [INFO] Loader : nombre de résultats (total) lus = 400000 temps écoulé = 0.055 sactiveThreadNb = 0 (ParallelLoader.java:150) -2019-06-05T20:51 [ERROR] debugCount = 0 (ParallelLoader.java:203) -2019-06-05T20:51 [WARNING] Fail to save entry number 0: incorrect data (ParallelLoaderRunnable.java:287) -2019-06-05T20:51 [INFO] Parsing terminé !! temps écoulé = 0.676 s (ParallelLoader.java:217) -2019-06-05T20:51 [INFO] PARSE : Nombre de lignes (local) = 100000 (ParallelLoader.java:218) -2019-06-05T20:51 [INFO][MEMORY] Mem usage fin - 189,561 (ParallelLoaderTest.java:113) -2019-06-05T20:51 [INFO][TIMER] TEMPS TOTAL PRIS PAR TOUS LES PARSINGS: 1.63 s (ParallelLoaderTest.java:114) -2019-06-05T21:56 [INFO] Parsing de csvName = testdata/SMALL_100_000_yellow_tripdata_2015-04.csv (IndexMemDicStorageTests.java:180) -2019-06-05T21:56 [INFO] PARSE : memusage init = (ParallelLoader.java:112) -2019-06-05T21:56 [INFO][MEMORY] 13,925 (ParallelLoader.java:114) -2019-06-05T21:56 [INFO] Loader : nombre de résultats (total) lus = 100000 temps écoulé = 0.226 sactiveThreadNb = 0 (ParallelLoader.java:150) -2019-06-05T21:56 [ERROR] debugCount = 0 (ParallelLoader.java:203) -2019-06-05T21:56 [WARNING] Fail to save entry number 0: incorrect data (ParallelLoaderRunnable.java:287) -2019-06-05T21:57 [INFO] Parsing terminé !! temps écoulé = 33.57 s (ParallelLoader.java:217) -2019-06-05T21:57 [INFO] PARSE : Nombre de lignes (local) = 100000 (ParallelLoader.java:218) -2019-06-05T21:57 [INFO][TIMER] TEMPS TOTAL PRIS PAR TOUS LES PARSINGS: 33.66 s (IndexMemDicStorageTests.java:183) -2019-06-05T21:57 [INFO] Parsing de csvName = testdata/SMALL_100_000_yellow_tripdata_2015-04.csv (NewLoaderAndIndexTest.java:170) -2019-06-05T21:57 [INFO] PARSE : memusage init = (ParallelLoader.java:112) -2019-06-05T21:57 [INFO][MEMOR
\ No newline at end of file diff --git a/repo/testdata/repo_8k/00000/chunks/000000000000007 b/repo/testdata/repo_8k/00000/chunks/000000000000007 deleted file mode 100644 index f9f54db..0000000 --- a/repo/testdata/repo_8k/00000/chunks/000000000000007 +++ /dev/null @@ -1,87 +0,0 @@ -Y] 58,123 (ParallelLoader.java:114) -2019-06-05T21:57 [INFO] Loader : nombre de résultats (total) lus = 200000 temps écoulé = 0.206 sactiveThreadNb = 0 (ParallelLoader.java:150) -2019-06-05T21:57 [ERROR] debugCount = 0 (ParallelLoader.java:203) -2019-06-05T21:57 [WARNING] Fail to save entry number 0: incorrect data (ParallelLoaderRunnable.java:287) -2019-06-05T21:57 [INFO] Parsing terminé !! temps écoulé = 15.87 s (ParallelLoader.java:217) -2019-06-05T21:57 [INFO] PARSE : Nombre de lignes (local) = 100000 (ParallelLoader.java:218) -2019-06-05T21:57 [INFO][TIMER] TEMPS TOTAL PRIS PAR TOUS LES PARSINGS: 16.28 s (NewLoaderAndIndexTest.java:189) -2019-06-05T21:57 [INFO] Bon nombre total de lignes ! nombre = 99999 (NewLoaderAndIndexTest.java:193) -2019-06-05T21:57 [INFO] setUpBeforeAll (IndexTreeMessyTest.java:73) -2019-06-05T21:57 [INFO] Nombre de résultats/entrées parsés INIT : 0 (IndexTreeMessyTest.java:186) -2019-06-05T21:57 [WARNING] Fail to save entry number 0: incorrect data (Loader.java:107) -2019-06-05T21:57 [WARNING] Fail to save entry number 0: incorrect data (Loader.java:107) -2019-06-05T21:57 [WARNING] Fail to save entry number 0: incorrect data (Loader.java:107) -2019-06-05T21:57 [WARNING] Fail to save entry number 0: incorrect data (Loader.java:107) -2019-06-05T21:57 [INFO] Loader : nombre de résultats (local) parsés = 0 temps écoulé = 9.32 millis (Loader.java:116) -2019-06-05T21:57 [INFO] Loader : nombre de résultats (local) parsés = 0 temps écoulé = 7.80 millis (Loader.java:116) -2019-06-05T21:57 [INFO] Loader : nombre de résultats (local) parsés = 0 temps écoulé = 8.95 millis (Loader.java:116) -2019-06-05T21:57 [INFO] Loader : nombre de résultats (local) parsés = 0 temps écoulé = 8.32 millis (Loader.java:116) -2019-06-05T21:57 [INFO][MEMORY] 181,960 (Loader.java:117) -2019-06-05T21:57 [INFO][MEMORY] 181,960 (Loader.java:117) -2019-06-05T21:57 [INFO][MEMORY] 181,960 (Loader.java:117) -2019-06-05T21:57 [INFO][MEMORY] 181,960 (Loader.java:117) -2019-06-05T22:41 [INFO] PARSE : FINAL USAGE (Loader.java:136) -2019-06-05T22:41 [INFO][MEMORY] 155,396 (Loader.java:138) -2019-06-05T22:41 [INFO] PARSE : FINAL USAGE (Loader.java:136) -2019-06-05T22:41 [INFO][MEMORY] 155,945 (Loader.java:138) -2019-06-05T22:41 [INFO] PARSE : FINAL USAGE (Loader.java:136) -2019-06-05T22:41 [INFO][MEMORY] 155,523 (Loader.java:138) -2019-06-05T22:41 [INFO] PARSE : FINAL USAGE (Loader.java:136) -2019-06-05T22:41 [INFO][MEMORY] 155,565 (Loader.java:138) -2019-06-05T22:41 [INFO][TIMER] TEMPS TOTAL pris par le parsing: 35.40 s (IndexTreeMessyTest.java:314) -2019-06-05T22:41 [INFO] setUpBeforeAll OK (IndexTreeMessyTest.java:322) -2019-06-05T22:41 [DEBUG] TableHandler.flushAllIndexOnDisk : size = 15 (Table.java:334) -2019-06-05T22:41 [INFO][MEMORY] IndexTreeDic.flushOnDisk 156,457 (IndexTreeDic.java:517) -2019-06-05T22:41 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@e056f20 (Table.java:338) -2019-06-05T22:41 [INFO][MEMORY] IndexTreeDic.flushOnDisk 156,457 (IndexTreeDic.java:517) -2019-06-05T22:41 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@4b0b0854 (Table.java:338) -2019-06-05T22:41 [INFO][MEMORY] IndexTreeDic.flushOnDisk 156,834 (IndexTreeDic.java:517) -2019-06-05T22:41 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@19bb07ed (Table.java:338) -2019-06-05T22:41 [INFO][MEMORY] IndexTreeDic.flushOnDisk 156,834 (IndexTreeDic.java:517) -2019-06-05T22:41 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@10e41621 (Table.java:338) -2019-06-05T22:41 [INFO][MEMORY] IndexTreeDic.flushOnDisk 156,883 (IndexTreeDic.java:517) -2019-06-05T22:41 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@353d0772 (Table.java:338) -2019-06-05T22:41 [INFO][MEMORY] IndexTreeDic.flushOnDisk 157,067 (IndexTreeDic.java:517) -2019-06-05T22:41 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@2667f029 (Table.java:338) -2019-06-05T22:41 [INFO][MEMORY] IndexTreeDic.flushOnDisk 157,067 (IndexTreeDic.java:517) -2019-06-05T22:41 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@67a20f67 (Table.java:338) -2019-06-05T22:41 [INFO][MEMORY] IndexTreeDic.flushOnDisk 157,579 (IndexTreeDic.java:517) -2019-06-05T22:41 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@57c758ac (Table.java:338) -2019-06-05T22:41 [INFO][MEMORY] IndexTreeDic.flushOnDisk 157,579 (IndexTreeDic.java:517) -2019-06-05T22:41 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@a9cd3b1 (Table.java:338) -2019-06-05T22:41 [INFO][MEMORY] IndexTreeDic.flushOnDisk 157,627 (IndexTreeDic.java:517) -2019-06-05T22:41 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@13e39c73 (Table.java:338) -2019-06-05T22:41 [INFO][MEMORY] IndexTreeDic.flushOnDisk 157,627 (IndexTreeDic.java:517) -2019-06-05T22:41 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@64cd705f (Table.java:338) -2019-06-05T22:41 [INFO][MEMORY] IndexTreeDic.flushOnDisk 157,627 (IndexTreeDic.java:517) -2019-06-05T22:41 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@9225652 (Table.java:338) -2019-06-05T22:41 [INFO][MEMORY] IndexTreeDic.flushOnDisk 157,627 (IndexTreeDic.java:517) -2019-06-05T22:41 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@654f0d9c (Table.java:338) -2019-06-05T22:41 [INFO][MEMORY] IndexTreeDic.flushOnDisk 157,627 (IndexTreeDic.java:517) -2019-06-05T22:41 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@6a400542 (Table.java:338) -2019-06-05T22:41 [INFO][MEMORY] IndexTreeDic.flushOnDisk 158,139 (IndexTreeDic.java:517) -2019-06-05T22:41 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@6580cfdd (Table.java:338) -2019-06-05T22:41 [ERROR] SerialStructure.writeStructure : impossible de sauvegarder la structure du disque. (SerialStructure.java:56) -2019-06-05T22:41 [ERROR] java.nio.HeapByteBuffer (SerialStructure.java:57) -2019-06-05T22:41 [ERROR] SerialStructure.loadStructure : impossible de charger la structure du disque. (SerialStructure.java:73) -2019-06-05T22:41 [ERROR] null (SerialStructure.java:74) -2019-06-05T22:41 [INFO] Lancé (IndexTreeMessyTest.java:366) -2019-06-05T22:41 [INFO][TIMER] tempsPrisPourRecherchesSurFichiers: 50 millis (IndexTreeDic.java:1164) -2019-06-05T22:41 [INFO][TIMER] Temps total recherche: 0.058 s (IndexTreeMessyTest.java:408) -2019-06-05T22:41 [INFO][TIMER] Temps parcours des résultats: 1.04 millis (IndexTreeMessyTest.java:416) -2019-06-05T22:41 [INFO] Nombre de résultats = 3116 (IndexTreeMessyTest.java:417) -2019-06-05T22:41 [INFO][TIMER] tempsPrisPourRecherchesSurFichiers: 8 millis (IndexTreeDic.java:1164) -2019-06-05T22:41 [INFO][TIMER] Temps total recherche: 8.60 millis (IndexTreeMessyTest.java:425) -2019-06-05T22:41 [INFO][TIMER] 1Temps d'acquisition des résultats (chargement du disque de tous les champs): 0.122 s (IndexTreeMessyTest.java:439) -2019-06-05T22:41 [INFO][TIMER] 2Temps d'acquisition des résultats certains champs seulement: 0.072 s (IndexTreeMessyTest.java:449) -2019-06-05T22:41 [INFO] Nombre de résultats = 700 (IndexTreeMessyTest.java:450) -2019-06-05T22:41 [INFO][TIMER] tempsPrisPourRecherchesSurFichiers: 22 millis (IndexTreeDic.java:1164) -2019-06-05T22:41 [INFO] Nombre de résultats (pour 18 exact) = 116 (IndexTreeMessyTest.java:456) -2019-06-05T22:41 [INFO] 40 (HashMapTests.java:27) -2019-06-05T22:41 [INFO][MEMORY] Mem usage début - 88,230 (ParallelLoaderTest.java:56) -2019-06-05T22:41 [INFO] Parsing de csvName = testdata/SMALL_100_000_yellow_tripdata_2015-04.csv (ParallelLoaderTest.java:64) -2019-06-05T22:41 [INFO] PARSE : memusage init = (ParallelLoader.java:112) -2019-06-05T22:41 [INFO][MEMORY] 90,316 (ParallelLoader.java:114) -2019-06-05T22:41 [INFO] Loader : nombre de résultats (total) lus = 300000 temps écoulé = 0.068 sactiveThreadNb = 0 (ParallelLoader.java:150) -2019-06-05T22:41 [ERROR] debugCount = 0 (ParallelLoader.java:203) -2019-06-05T22:41 [WARNING] Fail
\ No newline at end of file diff --git a/repo/testdata/repo_8k/00000/chunks/000000000000008 b/repo/testdata/repo_8k/00000/chunks/000000000000008 deleted file mode 100644 index 5995b3c..0000000 --- a/repo/testdata/repo_8k/00000/chunks/000000000000008 +++ /dev/null @@ -1,87 +0,0 @@ -to save entry number 0: incorrect data (ParallelLoaderRunnable.java:287) -2019-06-05T22:41 [INFO] Parsing terminé !! temps écoulé = 1.09 s (ParallelLoader.java:217) -2019-06-05T22:41 [INFO] PARSE : Nombre de lignes (local) = 100000 (ParallelLoader.java:218) -2019-06-05T22:41 [INFO] Parsing de csvName = testdata/SMALL_100_000_yellow_tripdata_2015-04.csv (ParallelLoaderTest.java:64) -2019-06-05T22:41 [INFO] PARSE : memusage init = (ParallelLoader.java:112) -2019-06-05T22:41 [INFO][MEMORY] 415,931 (ParallelLoader.java:114) -2019-06-05T22:41 [INFO] Loader : nombre de résultats (total) lus = 400000 temps écoulé = 0.070 sactiveThreadNb = 0 (ParallelLoader.java:150) -2019-06-05T22:41 [ERROR] debugCount = 0 (ParallelLoader.java:203) -2019-06-05T22:41 [WARNING] Fail to save entry number 0: incorrect data (ParallelLoaderRunnable.java:287) -2019-06-05T22:41 [INFO] Parsing terminé !! temps écoulé = 0.968 s (ParallelLoader.java:217) -2019-06-05T22:41 [INFO] PARSE : Nombre de lignes (local) = 100000 (ParallelLoader.java:218) -2019-06-05T22:41 [INFO][MEMORY] Mem usage fin - 189,494 (ParallelLoaderTest.java:113) -2019-06-05T22:41 [INFO][TIMER] TEMPS TOTAL PRIS PAR TOUS LES PARSINGS: 2.17 s (ParallelLoaderTest.java:114) -2019-06-05T23:02 [INFO] Parsing de csvName = testdata/SMALL_100_000_yellow_tripdata_2015-04.csv (IndexMemDicStorageTests.java:180) -2019-06-05T23:02 [INFO] PARSE : memusage init = (ParallelLoader.java:112) -2019-06-05T23:02 [INFO][MEMORY] 12,404 (ParallelLoader.java:114) -2019-06-05T23:02 [INFO] Loader : nombre de résultats (total) lus = 100000 temps écoulé = 0.154 sactiveThreadNb = 0 (ParallelLoader.java:150) -2019-06-05T23:02 [WARNING] Fail to save entry number 0: incorrect data (ParallelLoaderRunnable.java:287) -2019-06-05T23:02 [INFO] Parsing terminé !! temps écoulé = 1.61 s (ParallelLoader.java:217) -2019-06-05T23:02 [INFO] PARSE : Nombre de lignes (local) = 100000 (ParallelLoader.java:218) -2019-06-05T23:02 [INFO][TIMER] TEMPS TOTAL PRIS PAR TOUS LES PARSINGS: 1.62 s (IndexMemDicStorageTests.java:183) -2019-06-05T23:02 [INFO] totalLength = 99999 (IndexMemDic.java:217) -2019-06-05T23:02 [INFO][TIMER] Temps pris pour classer la 1ère fois: 0.266 s (IndexMemDicStorageTests.java:83) -2019-06-05T23:02 [INFO] totalLength = 99999 (IndexMemDic.java:217) -2019-06-05T23:02 [INFO][TIMER] Temps pris pour classer la 2ème fois: 0.188 s (IndexMemDicStorageTests.java:86) -2019-06-05T23:02 [INFO] Recherche A OK ! Nb résultats selon A : 263 (IndexMemDicStorageTests.java:108) -2019-06-05T23:02 [INFO] Recherche B OK ! Nb résultats selon B : 263 (IndexMemDicStorageTests.java:111) -2019-06-05T23:02 [INFO] Recherche C OK ! Nb résultats selon C : 263 (IndexMemDicStorageTests.java:114) -2019-06-05T23:02 [INFO] resultsPositionsArray.length = 263 (IndexMemDicStorageTests.java:117) -2019-06-05T23:02 [INFO] Parsing de csvName = testdata/SMALL_100_000_yellow_tripdata_2015-04.csv (NewLoaderAndIndexTest.java:170) -2019-06-05T23:02 [INFO] PARSE : memusage init = (ParallelLoader.java:112) -2019-06-05T23:02 [INFO][MEMORY] 103,147 (ParallelLoader.java:114) -2019-06-05T23:02 [INFO] Loader : nombre de résultats (total) lus = 200000 temps écoulé = 0.174 sactiveThreadNb = 0 (ParallelLoader.java:150) -2019-06-05T23:02 [WARNING] Fail to save entry number 0: incorrect data (ParallelLoaderRunnable.java:287) -2019-06-05T23:02 [INFO] Parsing terminé !! temps écoulé = 1.01 s (ParallelLoader.java:217) -2019-06-05T23:02 [INFO] PARSE : Nombre de lignes (local) = 100000 (ParallelLoader.java:218) -2019-06-05T23:02 [INFO][TIMER] TEMPS TOTAL PRIS PAR TOUS LES PARSINGS: 1.02 s (NewLoaderAndIndexTest.java:189) -2019-06-05T23:02 [INFO] Bon nombre total de lignes ! nombre = 99999 (NewLoaderAndIndexTest.java:193) -2019-06-05T23:02 [INFO] totalLength = 99999 (IndexMemDic.java:217) -2019-06-05T23:02 [INFO] Recherche A OK ! Nb résultats selon A : 263 (NewLoaderAndIndexTest.java:71) -2019-06-05T23:02 [INFO] Recherche B OK ! Nb résultats selon B : 263 (NewLoaderAndIndexTest.java:74) -2019-06-05T23:02 [INFO] Recherche C OK ! Nb résultats selon C : 263 (NewLoaderAndIndexTest.java:77) -2019-06-05T23:02 [INFO] resultsPositionsArray.length = 263 (NewLoaderAndIndexTest.java:80) -2019-06-05T23:02 [INFO] Recherche FLAG OK ! Nb résultats avec FLAG : 175 index len = 99999 (NewLoaderAndIndexTest.java:101) -2019-06-05T23:02 [INFO] totalLength = 66666 (IndexMemDic.java:217) -2019-06-05T23:02 [INFO] Recherche STRUCT OK ! Nb résultats avec restructuration : 175 index len = 99999 (NewLoaderAndIndexTest.java:109) -2019-06-05T23:02 [INFO] setUpBeforeAll (IndexTreeMessyTest.java:73) -2019-06-05T23:02 [INFO] Nombre de résultats/entrées parsés INIT : 0 (IndexTreeMessyTest.java:186) -2019-06-05T23:02 [WARNING] Fail to save entry number 0: incorrect data (Loader.java:107) -2019-06-05T23:02 [INFO] Loader : nombre de résultats (local) parsés = 0 temps écoulé = 0.57 millis (Loader.java:116) -2019-06-05T23:02 [INFO][MEMORY] 223,892 (Loader.java:117) -2019-06-05T23:02 [WARNING] Fail to save entry number 0: incorrect data (Loader.java:107) -2019-06-05T23:02 [WARNING] Fail to save entry number 0: incorrect data (Loader.java:107) -2019-06-05T23:02 [INFO] Loader : nombre de résultats (local) parsés = 0 temps écoulé = 2.56 millis (Loader.java:116) -2019-06-05T23:02 [WARNING] Fail to save entry number 0: incorrect data (Loader.java:107) -2019-06-05T23:02 [INFO] Loader : nombre de résultats (local) parsés = 0 temps écoulé = 2.00 millis (Loader.java:116) -2019-06-05T23:02 [INFO] Loader : nombre de résultats (local) parsés = 0 temps écoulé = 4.58 millis (Loader.java:116) -2019-06-05T23:02 [INFO][MEMORY] 200,186 (Loader.java:117) -2019-06-05T23:02 [INFO][MEMORY] 200,186 (Loader.java:117) -2019-06-05T23:02 [INFO][MEMORY] 200,186 (Loader.java:117) -2019-06-05T23:02 [INFO] PARSE : FINAL USAGE (Loader.java:136) -2019-06-05T23:02 [INFO][MEMORY] 155,525 (Loader.java:138) -2019-06-05T23:02 [INFO] PARSE : FINAL USAGE (Loader.java:136) -2019-06-05T23:02 [INFO][MEMORY] 155,474 (Loader.java:138) -2019-06-05T23:02 [INFO] PARSE : FINAL USAGE (Loader.java:136) -2019-06-05T23:02 [INFO][MEMORY] 156,042 (Loader.java:138) -2019-06-05T23:02 [INFO] PARSE : FINAL USAGE (Loader.java:136) -2019-06-05T23:02 [INFO][MEMORY] 155,626 (Loader.java:138) -2019-06-05T23:02 [INFO][TIMER] TEMPS TOTAL pris par le parsing: 6.03 s (IndexTreeMessyTest.java:314) -2019-06-05T23:02 [INFO] setUpBeforeAll OK (IndexTreeMessyTest.java:322) -2019-06-05T23:02 [DEBUG] TableHandler.flushAllIndexOnDisk : size = 15 (Table.java:334) -2019-06-05T23:02 [INFO][MEMORY] IndexTreeDic.flushOnDisk 156,650 (IndexTreeDic.java:517) -2019-06-05T23:02 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@659a969b (Table.java:338) -2019-06-05T23:02 [INFO][MEMORY] IndexTreeDic.flushOnDisk 157,038 (IndexTreeDic.java:517) -2019-06-05T23:02 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@76908cc0 (Table.java:338) -2019-06-05T23:02 [INFO][MEMORY] IndexTreeDic.flushOnDisk 157,414 (IndexTreeDic.java:517) -2019-06-05T23:02 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@2473d930 (Table.java:338) -2019-06-05T23:02 [INFO][MEMORY] IndexTreeDic.flushOnDisk 157,414 (IndexTreeDic.java:517) -2019-06-05T23:02 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@35047d03 (Table.java:338) -2019-06-05T23:02 [INFO][MEMORY] IndexTreeDic.flushOnDisk 157,464 (IndexTreeDic.java:517) -2019-06-05T23:02 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@49b0b76 (Table.java:338) -2019-06-05T23:02 [INFO][MEMORY] IndexTreeDic.flushOnDisk 157,674 (IndexTreeDic.java:517) -2019-06-05T23:02 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@769f71a9 (Table.java:338) -2019-06-05T23:02 [INFO][MEMORY] IndexTreeDic.flushOnDisk 157,674 (IndexTreeDic.java:517) -2019-06-05T23:02 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@4c9f8c13 (Table.java:338) -2019-06-05T23:02 [INFO][MEMORY] IndexTreeDic.flushOnDisk 158,194 (IndexTreeDic.java:517) -2019-06-05T23:02 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTree
\ No newline at end of file diff --git a/repo/testdata/repo_8k/00000/chunks/000000000000009 b/repo/testdata/repo_8k/00000/chunks/000000000000009 deleted file mode 100644 index 8a0d0af..0000000 --- a/repo/testdata/repo_8k/00000/chunks/000000000000009 +++ /dev/null @@ -1,88 +0,0 @@ -Dic@5ae50ce6 (Table.java:338) -2019-06-05T23:02 [INFO][MEMORY] IndexTreeDic.flushOnDisk 158,194 (IndexTreeDic.java:517) -2019-06-05T23:02 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@6f96c77 (Table.java:338) -2019-06-05T23:02 [INFO][MEMORY] IndexTreeDic.flushOnDisk 158,194 (IndexTreeDic.java:517) -2019-06-05T23:02 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@be64738 (Table.java:338) -2019-06-05T23:02 [INFO][MEMORY] IndexTreeDic.flushOnDisk 158,194 (IndexTreeDic.java:517) -2019-06-05T23:02 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@3ba9ad43 (Table.java:338) -2019-06-05T23:02 [INFO][MEMORY] IndexTreeDic.flushOnDisk 158,194 (IndexTreeDic.java:517) -2019-06-05T23:02 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@49d904ec (Table.java:338) -2019-06-05T23:02 [INFO][MEMORY] IndexTreeDic.flushOnDisk 158,194 (IndexTreeDic.java:517) -2019-06-05T23:02 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@48e4374 (Table.java:338) -2019-06-05T23:02 [INFO][MEMORY] IndexTreeDic.flushOnDisk 158,194 (IndexTreeDic.java:517) -2019-06-05T23:02 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@3d680b5a (Table.java:338) -2019-06-05T23:02 [INFO][MEMORY] IndexTreeDic.flushOnDisk 158,194 (IndexTreeDic.java:517) -2019-06-05T23:02 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@4b5d6a01 (Table.java:338) -2019-06-05T23:02 [ERROR] SerialStructure.writeStructure : impossible de sauvegarder la structure du disque. (SerialStructure.java:56) -2019-06-05T23:02 [ERROR] java.nio.HeapByteBuffer (SerialStructure.java:57) -2019-06-05T23:02 [ERROR] SerialStructure.loadStructure : impossible de charger la structure du disque. (SerialStructure.java:73) -2019-06-05T23:02 [ERROR] null (SerialStructure.java:74) -2019-06-05T23:02 [INFO] Lancé (IndexTreeMessyTest.java:366) -2019-06-05T23:02 [INFO][TIMER] tempsPrisPourRecherchesSurFichiers: 43 millis (IndexTreeDic.java:1164) -2019-06-05T23:02 [INFO][TIMER] Temps total recherche: 0.051 s (IndexTreeMessyTest.java:408) -2019-06-05T23:02 [INFO][TIMER] Temps parcours des résultats: 0.73 millis (IndexTreeMessyTest.java:416) -2019-06-05T23:02 [INFO] Nombre de résultats = 3116 (IndexTreeMessyTest.java:417) -2019-06-05T23:02 [INFO][TIMER] tempsPrisPourRecherchesSurFichiers: 6 millis (IndexTreeDic.java:1164) -2019-06-05T23:02 [INFO][TIMER] Temps total recherche: 6.60 millis (IndexTreeMessyTest.java:425) -2019-06-05T23:02 [INFO][TIMER] 1Temps d'acquisition des résultats (chargement du disque de tous les champs): 0.096 s (IndexTreeMessyTest.java:439) -2019-06-05T23:02 [INFO][TIMER] 2Temps d'acquisition des résultats certains champs seulement: 0.069 s (IndexTreeMessyTest.java:449) -2019-06-05T23:02 [INFO] Nombre de résultats = 700 (IndexTreeMessyTest.java:450) -2019-06-05T23:02 [INFO][TIMER] tempsPrisPourRecherchesSurFichiers: 10 millis (IndexTreeDic.java:1164) -2019-06-05T23:02 [INFO] Nombre de résultats (pour 18 exact) = 116 (IndexTreeMessyTest.java:456) -2019-06-05T23:02 [INFO] 40 (HashMapTests.java:27) -2019-06-05T23:02 [INFO][MEMORY] Mem usage début - 88,284 (ParallelLoaderTest.java:56) -2019-06-05T23:02 [INFO] Parsing de csvName = testdata/SMALL_100_000_yellow_tripdata_2015-04.csv (ParallelLoaderTest.java:65) -2019-06-05T23:02 [INFO] PARSE : memusage init = (ParallelLoader.java:112) -2019-06-05T23:02 [INFO][MEMORY] 90,332 (ParallelLoader.java:114) -2019-06-05T23:02 [INFO] Loader : nombre de résultats (total) lus = 300000 temps écoulé = 0.051 sactiveThreadNb = 0 (ParallelLoader.java:150) -2019-06-05T23:02 [WARNING] Fail to save entry number 0: incorrect data (ParallelLoaderRunnable.java:287) -2019-06-05T23:02 [INFO] Parsing terminé !! temps écoulé = 1.11 s (ParallelLoader.java:217) -2019-06-05T23:02 [INFO] PARSE : Nombre de lignes (local) = 100000 (ParallelLoader.java:218) -2019-06-05T23:02 [INFO] Parsing de csvName = testdata/SMALL_100_000_yellow_tripdata_2015-04.csv (ParallelLoaderTest.java:65) -2019-06-05T23:02 [INFO] PARSE : memusage init = (ParallelLoader.java:112) -2019-06-05T23:02 [INFO][MEMORY] 275,258 (ParallelLoader.java:114) -2019-06-05T23:02 [INFO] Loader : nombre de résultats (total) lus = 400000 temps écoulé = 0.076 sactiveThreadNb = 0 (ParallelLoader.java:150) -2019-06-05T23:02 [WARNING] Fail to save entry number 0: incorrect data (ParallelLoaderRunnable.java:287) -2019-06-05T23:02 [INFO] Parsing terminé !! temps écoulé = 0.696 s (ParallelLoader.java:217) -2019-06-05T23:02 [INFO] PARSE : Nombre de lignes (local) = 100000 (ParallelLoader.java:218) -2019-06-05T23:02 [INFO][MEMORY] Mem usage fin - 189,551 (ParallelLoaderTest.java:114) -2019-06-05T23:02 [INFO][TIMER] TEMPS TOTAL PRIS PAR TOUS LES PARSINGS: 1.87 s (ParallelLoaderTest.java:115) -2019-06-10T20:19 [ERROR] config.json (No such file or directory) (Database.java:33) -2019-06-10T20:19 [INFO] setUpBeforeAll (IndexTreeMessyTest.java:73) -2019-06-10T20:19 [INFO] Nombre de résultats/entrées parsés INIT : 0 (IndexTreeMessyTest.java:186) -2019-06-10T20:19 [WARNING] Fail to save entry number 0: incorrect data (Loader.java:107) -2019-06-10T20:19 [WARNING] Fail to save entry number 0: incorrect data (Loader.java:107) -2019-06-10T20:19 [INFO] Loader : nombre de résultats (local) parsés = 0 temps écoulé = 1.37 millis (Loader.java:116) -2019-06-10T20:19 [WARNING] Fail to save entry number 0: incorrect data (Loader.java:107) -2019-06-10T20:19 [INFO] Loader : nombre de résultats (local) parsés = 0 temps écoulé = 2.93 millis (Loader.java:116) -2019-06-10T20:19 [WARNING] Fail to save entry number 0: incorrect data (Loader.java:107) -2019-06-10T20:19 [INFO] Loader : nombre de résultats (local) parsés = 0 temps écoulé = 2.37 millis (Loader.java:116) -2019-06-10T20:19 [INFO][MEMORY] 10,178 (Loader.java:117) -2019-06-10T20:19 [INFO] Loader : nombre de résultats (local) parsés = 0 temps écoulé = 0.010 s (Loader.java:116) -2019-06-10T20:19 [INFO][MEMORY] 10,178 (Loader.java:117) -2019-06-10T20:19 [INFO][MEMORY] 19,394 (Loader.java:117) -2019-06-10T20:19 [INFO][MEMORY] 19,394 (Loader.java:117) -2019-06-10T20:19 [INFO] PARSE : FINAL USAGE (Loader.java:136) -2019-06-10T20:19 [INFO][MEMORY] 150,062 (Loader.java:138) -2019-06-10T20:19 [INFO] PARSE : FINAL USAGE (Loader.java:136) -2019-06-10T20:19 [INFO][MEMORY] 150,767 (Loader.java:138) -2019-06-10T20:19 [INFO] PARSE : FINAL USAGE (Loader.java:136) -2019-06-10T20:19 [INFO][MEMORY] 150,245 (Loader.java:138) -2019-06-10T20:19 [INFO] PARSE : FINAL USAGE (Loader.java:136) -2019-06-10T20:19 [INFO][MEMORY] 150,333 (Loader.java:138) -2019-06-10T20:19 [INFO][TIMER] TEMPS TOTAL pris par le parsing: 5.79 s (IndexTreeMessyTest.java:314) -2019-06-10T20:19 [INFO] setUpBeforeAll OK (IndexTreeMessyTest.java:322) -2019-06-10T20:19 [DEBUG] TableHandler.flushAllIndexOnDisk : size = 15 (Table.java:334) -2019-06-10T20:19 [INFO][MEMORY] IndexTreeDic.flushOnDisk 151,359 (IndexTreeDic.java:517) -2019-06-10T20:19 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@1b083826 (Table.java:338) -2019-06-10T20:19 [INFO][MEMORY] IndexTreeDic.flushOnDisk 151,871 (IndexTreeDic.java:517) -2019-06-10T20:19 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@105fece7 (Table.java:338) -2019-06-10T20:19 [INFO][MEMORY] IndexTreeDic.flushOnDisk 151,871 (IndexTreeDic.java:517) -2019-06-10T20:19 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@3ec300f1 (Table.java:338) -2019-06-10T20:19 [INFO][MEMORY] IndexTreeDic.flushOnDisk 152,381 (IndexTreeDic.java:517) -2019-06-10T20:19 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@482cd91f (Table.java:338) -2019-06-10T20:19 [INFO][MEMORY] IndexTreeDic.flushOnDisk 152,381 (IndexTreeDic.java:517) -2019-06-10T20:19 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@123f1134 (Table.java:338) -2019-06-10T20:34 [ERROR] config.json (No such file or directory) (Database.java:33) -2019-06-10T20:34 [INFO] setUpBeforeAll (IndexTreeMessyTest.java:73) -2019-06-10T20:34 [INFO] Nombre de résultats/
\ No newline at end of file diff --git a/repo/testdata/repo_8k/00000/chunks/000000000000010 b/repo/testdata/repo_8k/00000/chunks/000000000000010 deleted file mode 100644 index 97a481a..0000000 --- a/repo/testdata/repo_8k/00000/chunks/000000000000010 +++ /dev/null @@ -1,88 +0,0 @@ -entrées parsés INIT : 0 (IndexTreeMessyTest.java:186) -2019-06-10T20:34 [WARNING] Fail to save entry number 0: incorrect data (Loader.java:107) -2019-06-10T20:34 [INFO] Loader : nombre de résultats (local) parsés = 0 temps écoulé = 1.70 millis (Loader.java:116) -2019-06-10T20:34 [INFO][MEMORY] 9,153 (Loader.java:117) -2019-06-10T20:34 [WARNING] Fail to save entry number 0: incorrect data (Loader.java:107) -2019-06-10T20:34 [INFO] Loader : nombre de résultats (local) parsés = 0 temps écoulé = 1.74 millis (Loader.java:116) -2019-06-10T20:34 [INFO][MEMORY] 14,616 (Loader.java:117) -2019-06-10T20:34 [WARNING] Fail to save entry number 0: incorrect data (Loader.java:107) -2019-06-10T20:34 [INFO] Loader : nombre de résultats (local) parsés = 0 temps écoulé = 1.42 millis (Loader.java:116) -2019-06-10T20:34 [INFO][MEMORY] 20,072 (Loader.java:117) -2019-06-10T20:34 [WARNING] Fail to save entry number 0: incorrect data (Loader.java:107) -2019-06-10T20:34 [INFO] Loader : nombre de résultats (local) parsés = 0 temps écoulé = 4.10 millis (Loader.java:116) -2019-06-10T20:34 [INFO][MEMORY] 32,705 (Loader.java:117) -2019-06-10T20:34 [INFO] PARSE : FINAL USAGE (Loader.java:136) -2019-06-10T20:34 [INFO][MEMORY] 149,780 (Loader.java:138) -2019-06-10T20:34 [INFO] PARSE : FINAL USAGE (Loader.java:136) -2019-06-10T20:34 [INFO][MEMORY] 150,170 (Loader.java:138) -2019-06-10T20:34 [INFO] PARSE : FINAL USAGE (Loader.java:136) -2019-06-10T20:34 [INFO][MEMORY] 150,367 (Loader.java:138) -2019-06-10T20:34 [INFO] PARSE : FINAL USAGE (Loader.java:136) -2019-06-10T20:34 [INFO][MEMORY] 150,299 (Loader.java:138) -2019-06-10T20:34 [INFO][TIMER] TEMPS TOTAL pris par le parsing: 6.04 s (IndexTreeMessyTest.java:314) -2019-06-10T20:34 [INFO] setUpBeforeAll OK (IndexTreeMessyTest.java:322) -2019-06-10T20:34 [DEBUG] TableHandler.flushAllIndexOnDisk : size = 15 (Table.java:334) -2019-06-10T20:34 [INFO][MEMORY] IndexTreeDic.flushOnDisk 151,323 (IndexTreeDic.java:517) -2019-06-10T20:34 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@7d68ef40 (Table.java:338) -2019-06-10T20:34 [INFO][MEMORY] IndexTreeDic.flushOnDisk 151,323 (IndexTreeDic.java:517) -2019-06-10T20:34 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@5b0abc94 (Table.java:338) -2019-06-10T20:34 [INFO][MEMORY] IndexTreeDic.flushOnDisk 151,699 (IndexTreeDic.java:517) -2019-06-10T20:34 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@75c072cb (Table.java:338) -2019-06-10T20:34 [INFO][MEMORY] IndexTreeDic.flushOnDisk 151,699 (IndexTreeDic.java:517) -2019-06-10T20:34 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@1f1c7bf6 (Table.java:338) -2019-06-10T20:34 [INFO][MEMORY] IndexTreeDic.flushOnDisk 151,748 (IndexTreeDic.java:517) -2019-06-10T20:34 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@25b485ba (Table.java:338) -2019-06-10T20:34 [INFO][MEMORY] IndexTreeDic.flushOnDisk 152,260 (IndexTreeDic.java:517) -2019-06-10T20:34 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@2b546384 (Table.java:338) -2019-06-10T20:34 [INFO][MEMORY] IndexTreeDic.flushOnDisk 152,260 (IndexTreeDic.java:517) -2019-06-10T20:34 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@5d740a0f (Table.java:338) -2019-06-10T20:34 [INFO][MEMORY] IndexTreeDic.flushOnDisk 152,260 (IndexTreeDic.java:517) -2019-06-10T20:34 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@214b199c (Table.java:338) -2019-06-10T20:34 [INFO][MEMORY] IndexTreeDic.flushOnDisk 152,260 (IndexTreeDic.java:517) -2019-06-10T20:34 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@20d3d15a (Table.java:338) -2019-06-10T20:34 [INFO][MEMORY] IndexTreeDic.flushOnDisk 152,349 (IndexTreeDic.java:517) -2019-06-10T20:34 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@2893de87 (Table.java:338) -2019-06-10T20:34 [INFO][MEMORY] IndexTreeDic.flushOnDisk 152,861 (IndexTreeDic.java:517) -2019-06-10T20:34 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@55ca8de8 (Table.java:338) -2019-06-10T20:34 [INFO][MEMORY] IndexTreeDic.flushOnDisk 152,861 (IndexTreeDic.java:517) -2019-06-10T20:34 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@2c34f934 (Table.java:338) -2019-06-10T20:34 [INFO][MEMORY] IndexTreeDic.flushOnDisk 152,861 (IndexTreeDic.java:517) -2019-06-10T20:34 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@12d3a4e9 (Table.java:338) -2019-06-10T20:34 [INFO][MEMORY] IndexTreeDic.flushOnDisk 152,861 (IndexTreeDic.java:517) -2019-06-10T20:34 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@240237d2 (Table.java:338) -2019-06-10T20:34 [INFO][MEMORY] IndexTreeDic.flushOnDisk 152,861 (IndexTreeDic.java:517) -2019-06-10T20:34 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@25a65b77 (Table.java:338) -2019-06-10T20:34 [ERROR] SerialStructure.writeStructure : impossible de sauvegarder la structure du disque. (SerialStructure.java:56) -2019-06-10T20:34 [ERROR] java.nio.HeapByteBuffer (SerialStructure.java:57) -2019-06-10T20:34 [ERROR] SerialStructure.loadStructure : impossible de charger la structure du disque. (SerialStructure.java:73) -2019-06-10T20:34 [ERROR] null (SerialStructure.java:74) -2019-06-10T20:34 [INFO] Lancé (IndexTreeMessyTest.java:366) -2019-06-10T20:34 [INFO][TIMER] tempsPrisPourRecherchesSurFichiers: 44 millis (IndexTreeDic.java:1164) -2019-06-10T20:34 [INFO][TIMER] Temps total recherche: 0.053 s (IndexTreeMessyTest.java:408) -2019-06-10T20:34 [INFO][TIMER] Temps parcours des résultats: 1.23 millis (IndexTreeMessyTest.java:416) -2019-06-10T20:34 [INFO] Nombre de résultats = 3116 (IndexTreeMessyTest.java:417) -2019-06-10T20:34 [INFO][TIMER] tempsPrisPourRecherchesSurFichiers: 14 millis (IndexTreeDic.java:1164) -2019-06-10T20:34 [INFO][TIMER] Temps total recherche: 0.015 s (IndexTreeMessyTest.java:425) -2019-06-10T20:34 [INFO][TIMER] 1Temps d'acquisition des résultats (chargement du disque de tous les champs): 0.119 s (IndexTreeMessyTest.java:439) -2019-06-10T20:34 [INFO][TIMER] 2Temps d'acquisition des résultats certains champs seulement: 0.045 s (IndexTreeMessyTest.java:449) -2019-06-10T20:34 [INFO] Nombre de résultats = 700 (IndexTreeMessyTest.java:450) -2019-06-10T20:34 [INFO][TIMER] tempsPrisPourRecherchesSurFichiers: 2 millis (IndexTreeDic.java:1164) -2019-06-10T20:34 [INFO] Nombre de résultats (pour 18 exact) = 116 (IndexTreeMessyTest.java:456) -2019-06-10T20:34 [INFO] 40 (HashMapTests.java:27) -2019-06-10T20:34 [INFO][MEMORY] Mem usage début - 82,958 (ParallelLoaderTest.java:56) -2019-06-10T20:49 [ERROR] config.json (No such file or directory) (Database.java:33) -2019-06-10T20:49 [INFO] setUpBeforeAll (IndexTreeMessyTest.java:73) -2019-06-10T20:49 [INFO] Nombre de résultats/entrées parsés INIT : 0 (IndexTreeMessyTest.java:186) -2019-06-10T20:49 [WARNING] Fail to save entry number 0: incorrect data (Loader.java:107) -2019-06-10T20:49 [INFO] Loader : nombre de résultats (local) parsés = 0 temps écoulé = 1.20 millis (Loader.java:116) -2019-06-10T20:49 [WARNING] Fail to save entry number 0: incorrect data (Loader.java:107) -2019-06-10T20:49 [INFO] Loader : nombre de résultats (local) parsés = 0 temps écoulé = 2.69 millis (Loader.java:116) -2019-06-10T20:49 [INFO][MEMORY] 9,820 (Loader.java:117) -2019-06-10T20:49 [INFO][MEMORY] 9,820 (Loader.java:117) -2019-06-10T20:49 [WARNING] Fail to save entry number 0: incorrect data (Loader.java:107) -2019-06-10T20:49 [INFO] Loader : nombre de résultats (local) parsés = 0 temps écoulé = 1.41 millis (Loader.java:116) -2019-06-10T20:49 [INFO][MEMORY] 19,381 (Loader.java:117) -2019-06-10T20:49 [WARNING] Fail to save entry number 0: incorrect data (Loader.java:107) -2019-06-10T20:49 [INFO] Loader : nombre de résultats (local) parsés = 0 temps écoulé = 1.16 millis (Loader.java:116) -2019-06-10T20:49 [INFO][MEMORY] 24,844 (Loader.java:117) -2019-06-10T20:50 [INFO] PARSE : FINAL USAGE (Loader.jav
\ No newline at end of file diff --git a/repo/testdata/repo_8k/00000/chunks/000000000000011 b/repo/testdata/repo_8k/00000/chunks/000000000000011 deleted file mode 100644 index 5a30329..0000000 --- a/repo/testdata/repo_8k/00000/chunks/000000000000011 +++ /dev/null @@ -1,87 +0,0 @@ -va:217) -2019-06-10T20:51 [INFO] Recherche A OK ! Nb résultats selon A : 263 (NewLoaderAndIndexTest.java:71) -2019-06-10T20:51 [INFO] Recherche B OK ! Nb résultats selon B : 263 (NewLoaderAndIndexTest.java:74) -2019-06-10T20:51 [INFO] Recherche C OK ! Nb résultats selon C : 263 (NewLoaderAndIndexTest.java:77) -2019-06-10T20:51 [INFO] resultsPositionsArray.length = 263 (NewLoaderAndIndexTest.java:80) -2019-06-10T20:51 [INFO] Recherche FLAG OK ! Nb résultats avec FLAG : 175 index len = 99999 (NewLoaderAndIndexTest.java:101) -2019-06-10T20:51 [INFO] totalLength = 66666 (IndexMemDic.java:217) -2019-06-10T20:51 [INFO] Recherche STRUCT OK ! Nb résultats avec restructuration : 175 index len = 99999 (NewLoaderAndIndexTest.java:109) -2019-06-10T20:51 [INFO] setUpBeforeAll (IndexTreeMessyTest.java:73) -2019-06-10T20:51 [INFO] Nombre de résultats/entrées parsés INIT : 0 (IndexTreeMessyTest.java:186) -2019-06-10T20:51 [WARNING] Fail to save entry number 0: incorrect data (Loader.java:107) -2019-06-10T20:51 [INFO] Loader : nombre de résultats (local) parsés = 0 temps écoulé = 2.67 millis (Loader.java:116) -2019-06-10T20:51 [WARNING] Fail to save entry number 0: incorrect data (Loader.java:107) -2019-06-10T20:51 [INFO] Loader : nombre de résultats (local) parsés = 0 temps écoulé = 2.13 millis (Loader.java:116) -2019-06-10T20:51 [INFO][MEMORY] 226,959 (Loader.java:117) -2019-06-10T20:51 [INFO][MEMORY] 226,959 (Loader.java:117) -2019-06-10T20:51 [WARNING] Fail to save entry number 0: incorrect data (Loader.java:107) -2019-06-10T20:51 [INFO] Loader : nombre de résultats (local) parsés = 0 temps écoulé = 2.14 millis (Loader.java:116) -2019-06-10T20:51 [INFO][MEMORY] 178,179 (Loader.java:117) -2019-06-10T20:51 [WARNING] Fail to save entry number 0: incorrect data (Loader.java:107) -2019-06-10T20:51 [INFO] Loader : nombre de résultats (local) parsés = 0 temps écoulé = 0.71 millis (Loader.java:116) -2019-06-10T20:51 [INFO][MEMORY] 199,412 (Loader.java:117) -2019-06-10T20:51 [INFO] PARSE : FINAL USAGE (Loader.java:136) -2019-06-10T20:51 [INFO][MEMORY] 155,755 (Loader.java:138) -2019-06-10T20:51 [INFO] PARSE : FINAL USAGE (Loader.java:136) -2019-06-10T20:51 [INFO][MEMORY] 155,569 (Loader.java:138) -2019-06-10T20:51 [INFO] PARSE : FINAL USAGE (Loader.java:136) -2019-06-10T20:51 [INFO][MEMORY] 156,154 (Loader.java:138) -2019-06-10T20:51 [INFO] PARSE : FINAL USAGE (Loader.java:136) -2019-06-10T20:51 [INFO][MEMORY] 155,614 (Loader.java:138) -2019-06-10T20:51 [INFO][TIMER] TEMPS TOTAL pris par le parsing: 4.79 s (IndexTreeMessyTest.java:314) -2019-06-10T20:51 [INFO] setUpBeforeAll OK (IndexTreeMessyTest.java:322) -2019-06-10T20:51 [DEBUG] TableHandler.flushAllIndexOnDisk : size = 15 (Table.java:334) -2019-06-10T20:51 [INFO][MEMORY] IndexTreeDic.flushOnDisk 156,638 (IndexTreeDic.java:517) -2019-06-10T20:51 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@7ce3cb8e (Table.java:338) -2019-06-10T20:51 [INFO][MEMORY] IndexTreeDic.flushOnDisk 156,638 (IndexTreeDic.java:517) -2019-06-10T20:51 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@78b66d36 (Table.java:338) -2019-06-10T20:51 [INFO][MEMORY] IndexTreeDic.flushOnDisk 157,014 (IndexTreeDic.java:517) -2019-06-10T20:51 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@5223e5ee (Table.java:338) -2019-06-10T20:51 [INFO][MEMORY] IndexTreeDic.flushOnDisk 157,014 (IndexTreeDic.java:517) -2019-06-10T20:51 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@bef2d72 (Table.java:338) -2019-06-10T20:51 [INFO][MEMORY] IndexTreeDic.flushOnDisk 157,063 (IndexTreeDic.java:517) -2019-06-10T20:51 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@69b2283a (Table.java:338) -2019-06-10T20:51 [INFO][MEMORY] IndexTreeDic.flushOnDisk 157,575 (IndexTreeDic.java:517) -2019-06-10T20:51 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@22a637e7 (Table.java:338) -2019-06-10T20:51 [INFO][MEMORY] IndexTreeDic.flushOnDisk 157,575 (IndexTreeDic.java:517) -2019-06-10T20:51 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@6fe7aac8 (Table.java:338) -2019-06-10T20:51 [INFO][MEMORY] IndexTreeDic.flushOnDisk 157,575 (IndexTreeDic.java:517) -2019-06-10T20:51 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@1d119efb (Table.java:338) -2019-06-10T20:51 [INFO][MEMORY] IndexTreeDic.flushOnDisk 157,575 (IndexTreeDic.java:517) -2019-06-10T20:51 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@659a969b (Table.java:338) -2019-06-10T20:51 [INFO][MEMORY] IndexTreeDic.flushOnDisk 157,662 (IndexTreeDic.java:517) -2019-06-10T20:51 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@76908cc0 (Table.java:338) -2019-06-10T20:51 [INFO][MEMORY] IndexTreeDic.flushOnDisk 158,182 (IndexTreeDic.java:517) -2019-06-10T20:51 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@2473d930 (Table.java:338) -2019-06-10T20:51 [INFO][MEMORY] IndexTreeDic.flushOnDisk 158,182 (IndexTreeDic.java:517) -2019-06-10T20:51 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@35047d03 (Table.java:338) -2019-06-10T20:51 [INFO][MEMORY] IndexTreeDic.flushOnDisk 158,182 (IndexTreeDic.java:517) -2019-06-10T20:51 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@49b0b76 (Table.java:338) -2019-06-10T20:51 [INFO][MEMORY] IndexTreeDic.flushOnDisk 158,182 (IndexTreeDic.java:517) -2019-06-10T20:51 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@769f71a9 (Table.java:338) -2019-06-10T20:51 [INFO][MEMORY] IndexTreeDic.flushOnDisk 158,182 (IndexTreeDic.java:517) -2019-06-10T20:51 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@4c9f8c13 (Table.java:338) -2019-06-10T20:51 [ERROR] SerialStructure.writeStructure : impossible de sauvegarder la structure du disque. (SerialStructure.java:56) -2019-06-10T20:51 [ERROR] java.nio.HeapByteBuffer (SerialStructure.java:57) -2019-06-10T20:51 [ERROR] SerialStructure.loadStructure : impossible de charger la structure du disque. (SerialStructure.java:73) -2019-06-10T20:51 [ERROR] null (SerialStructure.java:74) -2019-06-10T20:51 [INFO] Lancé (IndexTreeMessyTest.java:366) -2019-06-10T20:51 [INFO][TIMER] tempsPrisPourRecherchesSurFichiers: 41 millis (IndexTreeDic.java:1164) -2019-06-10T20:51 [INFO][TIMER] Temps total recherche: 0.049 s (IndexTreeMessyTest.java:408) -2019-06-10T20:51 [INFO][TIMER] Temps parcours des résultats: 1.53 millis (IndexTreeMessyTest.java:416) -2019-06-10T20:51 [INFO] Nombre de résultats = 3116 (IndexTreeMessyTest.java:417) -2019-06-10T20:51 [INFO][TIMER] tempsPrisPourRecherchesSurFichiers: 7 millis (IndexTreeDic.java:1164) -2019-06-10T20:51 [INFO][TIMER] Temps total recherche: 7.95 millis (IndexTreeMessyTest.java:425) -2019-06-10T20:51 [INFO][TIMER] 1Temps d'acquisition des résultats (chargement du disque de tous les champs): 0.079 s (IndexTreeMessyTest.java:439) -2019-06-10T20:51 [INFO][TIMER] 2Temps d'acquisition des résultats certains champs seulement: 0.049 s (IndexTreeMessyTest.java:449) -2019-06-10T20:51 [INFO] Nombre de résultats = 700 (IndexTreeMessyTest.java:450) -2019-06-10T20:51 [INFO][TIMER] tempsPrisPourRecherchesSurFichiers: 4 millis (IndexTreeDic.java:1164) -2019-06-10T20:51 [INFO] Nombre de résultats (pour 18 exact) = 116 (IndexTreeMessyTest.java:456) -2019-06-10T20:51 [INFO] 40 (HashMapTests.java:27) -2019-06-10T20:51 [INFO][MEMORY] Mem usage début - 88,271 (ParallelLoaderTest.java:56) -2019-06-10T20:51 [INFO] Parsing de csvName = testdata/SMALL_100_000_yellow_tripdata_2015-04.csv (ParallelLoaderTest.java:65) -2019-06-10T20:51 [INFO] PARSE : memusage init = (ParallelLoader.java:112) -2019-06-10T20:51 [INFO][MEMORY] 90,319 (ParallelLoader.java:114) -2019-06-10T20:51 [INFO] Loader : nombre de résultats (total) lus = 300000 temps écoulé = 0.042 sactiveThreadNb = 0 (ParallelLoader.java:150) -2019-06-10T20:51 [WARNING] Fail to save entry number 0: incorrect data (ParallelLoaderRunnable.java:287) -2019-06-10T20
\ No newline at end of file diff --git a/repo/testdata/repo_8k/00000/chunks/000000000000012 b/repo/testdata/repo_8k/00000/chunks/000000000000012 deleted file mode 100644 index 612b2ee..0000000 --- a/repo/testdata/repo_8k/00000/chunks/000000000000012 +++ /dev/null @@ -1,87 +0,0 @@ -:51 [INFO] Parsing terminé !! temps écoulé = 0.842 s (ParallelLoader.java:217) -2019-06-10T20:51 [INFO] PARSE : Nombre de lignes (local) = 100000 (ParallelLoader.java:218) -2019-06-10T20:51 [INFO] Parsing de csvName = testdata/SMALL_100_000_yellow_tripdata_2015-04.csv (ParallelLoaderTest.java:65) -2019-06-10T20:51 [INFO] PARSE : memusage init = (ParallelLoader.java:112) -2019-06-10T20:51 [INFO][MEMORY] 209,650 (ParallelLoader.java:114) -2019-06-10T20:51 [INFO] Loader : nombre de résultats (total) lus = 400000 temps écoulé = 0.056 sactiveThreadNb = 0 (ParallelLoader.java:150) -2019-06-10T20:51 [WARNING] Fail to save entry number 0: incorrect data (ParallelLoaderRunnable.java:287) -2019-06-10T20:51 [INFO] Parsing terminé !! temps écoulé = 0.637 s (ParallelLoader.java:217) -2019-06-10T20:51 [INFO] PARSE : Nombre de lignes (local) = 100000 (ParallelLoader.java:218) -2019-06-10T20:51 [INFO][MEMORY] Mem usage fin - 189,538 (ParallelLoaderTest.java:114) -2019-06-10T20:51 [INFO][TIMER] TEMPS TOTAL PRIS PAR TOUS LES PARSINGS: 1.55 s (ParallelLoaderTest.java:115) -2019-06-10T21:24 [INFO] Parsing de csvName = testdata/SMALL_100_000_yellow_tripdata_2015-04.csv (IndexMemDicStorageTests.java:180) -2019-06-10T21:24 [INFO] PARSE : memusage init = (ParallelLoader.java:112) -2019-06-10T21:24 [INFO][MEMORY] 12,384 (ParallelLoader.java:114) -2019-06-10T21:24 [INFO] Loader : nombre de résultats (total) lus = 100000 temps écoulé = 0.122 sactiveThreadNb = 0 (ParallelLoader.java:150) -2019-06-10T21:24 [WARNING] Fail to save entry number 0: incorrect data (ParallelLoaderRunnable.java:287) -2019-06-10T21:24 [INFO] Parsing terminé !! temps écoulé = 1.54 s (ParallelLoader.java:217) -2019-06-10T21:24 [INFO] PARSE : Nombre de lignes (local) = 100000 (ParallelLoader.java:218) -2019-06-10T21:24 [INFO][TIMER] TEMPS TOTAL PRIS PAR TOUS LES PARSINGS: 1.55 s (IndexMemDicStorageTests.java:183) -2019-06-10T21:24 [INFO] totalLength = 99999 (IndexMemDic.java:217) -2019-06-10T21:24 [INFO][TIMER] Temps pris pour classer la 1ère fois: 0.312 s (IndexMemDicStorageTests.java:83) -2019-06-10T21:24 [INFO] totalLength = 99999 (IndexMemDic.java:217) -2019-06-10T21:24 [INFO][TIMER] Temps pris pour classer la 2ème fois: 0.172 s (IndexMemDicStorageTests.java:86) -2019-06-10T21:24 [INFO] Recherche A OK ! Nb résultats selon A : 263 (IndexMemDicStorageTests.java:108) -2019-06-10T21:24 [INFO] Recherche B OK ! Nb résultats selon B : 263 (IndexMemDicStorageTests.java:111) -2019-06-10T21:24 [INFO] Recherche C OK ! Nb résultats selon C : 263 (IndexMemDicStorageTests.java:114) -2019-06-10T21:24 [INFO] resultsPositionsArray.length = 263 (IndexMemDicStorageTests.java:117) -2019-06-10T21:24 [INFO] Parsing de csvName = testdata/SMALL_100_000_yellow_tripdata_2015-04.csv (NewLoaderAndIndexTest.java:170) -2019-06-10T21:24 [INFO] PARSE : memusage init = (ParallelLoader.java:112) -2019-06-10T21:24 [INFO][MEMORY] 108,772 (ParallelLoader.java:114) -2019-06-10T21:24 [INFO] Loader : nombre de résultats (total) lus = 200000 temps écoulé = 0.168 sactiveThreadNb = 0 (ParallelLoader.java:150) -2019-06-10T21:24 [WARNING] Fail to save entry number 0: incorrect data (ParallelLoaderRunnable.java:287) -2019-06-10T21:24 [INFO] Parsing terminé !! temps écoulé = 0.889 s (ParallelLoader.java:217) -2019-06-10T21:24 [INFO] PARSE : Nombre de lignes (local) = 100000 (ParallelLoader.java:218) -2019-06-10T21:24 [INFO][TIMER] TEMPS TOTAL PRIS PAR TOUS LES PARSINGS: 0.904 s (NewLoaderAndIndexTest.java:189) -2019-06-10T21:24 [INFO] Bon nombre total de lignes ! nombre = 99999 (NewLoaderAndIndexTest.java:193) -2019-06-10T21:24 [INFO] totalLength = 99999 (IndexMemDic.java:217) -2019-06-10T21:24 [INFO] Recherche A OK ! Nb résultats selon A : 263 (NewLoaderAndIndexTest.java:71) -2019-06-10T21:24 [INFO] Recherche B OK ! Nb résultats selon B : 263 (NewLoaderAndIndexTest.java:74) -2019-06-10T21:24 [INFO] Recherche C OK ! Nb résultats selon C : 263 (NewLoaderAndIndexTest.java:77) -2019-06-10T21:24 [INFO] resultsPositionsArray.length = 263 (NewLoaderAndIndexTest.java:80) -2019-06-10T21:24 [INFO] Recherche FLAG OK ! Nb résultats avec FLAG : 175 index len = 99999 (NewLoaderAndIndexTest.java:101) -2019-06-10T21:24 [INFO] totalLength = 66666 (IndexMemDic.java:217) -2019-06-10T21:24 [INFO] Recherche STRUCT OK ! Nb résultats avec restructuration : 175 index len = 99999 (NewLoaderAndIndexTest.java:109) -2019-06-10T21:24 [INFO] setUpBeforeAll (IndexTreeMessyTest.java:73) -2019-06-10T21:24 [INFO] Nombre de résultats/entrées parsés INIT : 0 (IndexTreeMessyTest.java:186) -2019-06-10T21:24 [WARNING] Fail to save entry number 0: incorrect data (Loader.java:107) -2019-06-10T21:24 [INFO] Loader : nombre de résultats (local) parsés = 0 temps écoulé = 2.99 millis (Loader.java:116) -2019-06-10T21:24 [INFO][MEMORY] 234,123 (Loader.java:117) -2019-06-10T21:24 [WARNING] Fail to save entry number 0: incorrect data (Loader.java:107) -2019-06-10T21:24 [INFO] Loader : nombre de résultats (local) parsés = 0 temps écoulé = 0.54 millis (Loader.java:116) -2019-06-10T21:24 [INFO][MEMORY] 154,808 (Loader.java:117) -2019-06-10T21:24 [WARNING] Fail to save entry number 0: incorrect data (Loader.java:107) -2019-06-10T21:24 [WARNING] Fail to save entry number 0: incorrect data (Loader.java:107) -2019-06-10T21:24 [INFO] Loader : nombre de résultats (local) parsés = 0 temps écoulé = 0.013 s (Loader.java:116) -2019-06-10T21:24 [INFO] Loader : nombre de résultats (local) parsés = 0 temps écoulé = 3.63 millis (Loader.java:116) -2019-06-10T21:24 [INFO][MEMORY] 202,936 (Loader.java:117) -2019-06-10T21:24 [INFO][MEMORY] 202,936 (Loader.java:117) -2019-06-10T21:24 [INFO] PARSE : FINAL USAGE (Loader.java:136) -2019-06-10T21:24 [INFO][MEMORY] 154,918 (Loader.java:138) -2019-06-10T21:24 [INFO] PARSE : FINAL USAGE (Loader.java:136) -2019-06-10T21:24 [INFO][MEMORY] 155,713 (Loader.java:138) -2019-06-10T21:24 [INFO] PARSE : FINAL USAGE (Loader.java:136) -2019-06-10T21:24 [INFO][MEMORY] 155,525 (Loader.java:138) -2019-06-10T21:24 [INFO] PARSE : FINAL USAGE (Loader.java:136) -2019-06-10T21:24 [INFO][MEMORY] 155,614 (Loader.java:138) -2019-06-10T21:24 [INFO][TIMER] TEMPS TOTAL pris par le parsing: 12.07 s (IndexTreeMessyTest.java:314) -2019-06-10T21:24 [INFO] setUpBeforeAll OK (IndexTreeMessyTest.java:322) -2019-06-10T21:24 [DEBUG] TableHandler.flushAllIndexOnDisk : size = 15 (Table.java:334) -2019-06-10T21:24 [INFO][MEMORY] IndexTreeDic.flushOnDisk 156,638 (IndexTreeDic.java:517) -2019-06-10T21:24 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@7ce3cb8e (Table.java:338) -2019-06-10T21:24 [INFO][MEMORY] IndexTreeDic.flushOnDisk 156,638 (IndexTreeDic.java:517) -2019-06-10T21:24 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@78b66d36 (Table.java:338) -2019-06-10T21:24 [INFO][MEMORY] IndexTreeDic.flushOnDisk 157,014 (IndexTreeDic.java:517) -2019-06-10T21:24 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@5223e5ee (Table.java:338) -2019-06-10T21:24 [INFO][MEMORY] IndexTreeDic.flushOnDisk 157,014 (IndexTreeDic.java:517) -2019-06-10T21:24 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@bef2d72 (Table.java:338) -2019-06-10T21:24 [INFO][MEMORY] IndexTreeDic.flushOnDisk 157,064 (IndexTreeDic.java:517) -2019-06-10T21:24 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@69b2283a (Table.java:338) -2019-06-10T21:24 [INFO][MEMORY] IndexTreeDic.flushOnDisk 157,576 (IndexTreeDic.java:517) -2019-06-10T21:24 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@22a637e7 (Table.java:338) -2019-06-10T21:24 [INFO][MEMORY] IndexTreeDic.flushOnDisk 157,634 (IndexTreeDic.java:517) -2019-06-10T21:24 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@6fe7aac8 (Table.java:338) -2019-06-10T21:24 [INFO][MEMORY] IndexTreeDic.flushOnDisk 157,634 (IndexTreeDic.java:517) -2019-06-10T21:24 [INFO] Table.flushAllIndexOnDisk : flush de l'arbre !index.indexTree.IndexTreeDic@1d119efb (Table.java:338) -2019-06-10T21:24 [INFO][MEMORY] IndexTreeDic.flushOnDisk 157,634 (IndexTreeDic.java:517) -2019-06-10T21:24 [INFO] Table.flu
\ No newline at end of file diff --git a/repo/testdata/repo_8k/00000/files b/repo/testdata/repo_8k/00000/files Binary files differdeleted file mode 100644 index 56431d4..0000000 --- a/repo/testdata/repo_8k/00000/files +++ /dev/null diff --git a/repo/testdata/repo_8k/00000/hashes b/repo/testdata/repo_8k/00000/hashes Binary files differdeleted file mode 100644 index ec622b2..0000000 --- a/repo/testdata/repo_8k/00000/hashes +++ /dev/null diff --git a/repo/testdata/repo_8k/00000/recipe b/repo/testdata/repo_8k/00000/recipe Binary files differdeleted file mode 100644 index 66bde3d..0000000 --- a/repo/testdata/repo_8k/00000/recipe +++ /dev/null diff --git a/repo/testdata/repo_8k_zlib/00000/files b/repo/testdata/repo_8k_zlib/00000/files Binary files differindex 70ca423..e9bb403 100644 --- a/repo/testdata/repo_8k_zlib/00000/files +++ b/repo/testdata/repo_8k_zlib/00000/files diff --git a/repo/testdata/repo_8k_zlib/00000/hashes b/repo/testdata/repo_8k_zlib/00000/hashes Binary files differindex ec622b2..8c6a857 100644 --- a/repo/testdata/repo_8k_zlib/00000/hashes +++ b/repo/testdata/repo_8k_zlib/00000/hashes diff --git a/repo/testdata/repo_8k_zlib/00000/recipe b/repo/testdata/repo_8k_zlib/00000/recipe Binary files differindex d8c788b..7d33a6a 100644 --- a/repo/testdata/repo_8k_zlib/00000/recipe +++ b/repo/testdata/repo_8k_zlib/00000/recipe |