@MSGID: <20230911145416.000036d1@mvps.org.invalid>
8e401af5
@REPLY:
<eccd921a-8b64-46fe-a2ce-2aed142df6abn@googlegroups.com> aff0b1d2
@REPLYADDR ObiWan <obiwan@mvps.org.invalid>
@REPLYTO 2:5075/128 ObiWan
@CHRS: CP866 2
@RFC: 1 0
@RFC-Message-ID:
<20230911145416.000036d1@mvps.org.invalid>
<0c640188-cdf2-421e-aca2-583457644423n@googlegroups.com><20230414171132.00006d23
@mvps.org.invalid><5cf1be47-7a74-42fa-b012-9e0c167ae58en@googlegroups.com><1c082
c0f-fad1-4a99-834b-22db0cc3c815n@googlegroups.com><20230822174909.00004e84@mvps.
org.invalid><d8705cd6-a647-4f5c-92e7-4746e79a5448n@googlegroups.com><20230825113
749.00003ea6@mvps.org.invalid><20230825113913.000017cb@mvps.org.invalid><877e2be
8-725d-4849-9c7c-4ea2adc83303n@googlegroups.com>1@paganini.bofh.te
am><6aa51ffe-f4a3-46a4-a793-f971c42d26f5n@googlegroups.com> ini.bofh.team><bde707de-6b62-41b9-b198-a25c135762d2n@googlegroups.com> ga$1@paganini.bofh.team><f4046b66-7001-40fe-8667-a246c4403dcdn@googlegroups.com>
<oFKdncM5N4x9eGz5nZ2dnZfqn_idnZ2d@giganews.com><965cbf88-2aa7-42ea-962c-42f6c425
44a9n@googlegroups.com><694abf6d-9e11-41a8-a663-73c407c901cen@googlegroups.com><
eccd921a-8b64-46fe-a2ce-2aed142df6abn@googlegroups.com>
@TZUTC: 0200
@TID: FIDOGATE-5.12-ge4e8b94
:: On Tue, 5 Sep 2023 06:20:42 -0700 (PDT)
:: (microsoft.public.vb.general.discussion)
:: <eccd921a-8b64-46fe-a2ce-2aed142df6abn@googlegroups.com>
:: Larry Serflaten <serflaten@gmail.com> wrote:

> Not during the disk read operation.  You grab some round number of
> bytes (4-8MB) then parse the raw data in memory.  You keep track of
> how much you have parsed so that your next disk read operation begins
> where your parsing left off.

or either... you load your "chunk" of data, say 8MB or so, then you
start parsing the file, when you reach (say) 4MB, you discard the first
4MB and load another 4MB chunk appending it to the bottom of your
buffer, this way you`ll have a 4MB "circular buffer" moving along while
you process the file; a way to achieve this is to use three buffers,
say we go for a 6MB chunk, we start by reading the whole 6MB into three
buffers #1, #2 and #3, when the code requests data we fetch them from
#1 at first, but once #1 end is reached, #1 contents are discarded and
repopulated with further data from the file, so the processing goes on
over #2 then, #2 is discarded and filled up with other data and we now
go on with #3, we then go back to #1 and repeat until all the data has
been processed :)


--- FIDOGATE 5.12-ge4e8b94
 * Origin: To protect and to server (2:5075/128)
SEEN-BY: 5001/100 5005/49 5015/255 5019/40 5020/715
848 1042 4441 12000
SEEN-BY: 5030/49 1081 5058/104 5075/128
@PATH: 5075/128 5020/1042 4441