<div dir="ltr"><div class="gmail_quote"><div>Hi,</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-style:solid;border-left-color:rgb(204,204,204);padding-left:1ex">
I would like to see the time for each run (if 10 runs, then 10 columns<br>
i.e., xx_run1, xx_run2, ...), rather than only average of them.<br>
<br>
Collect as much as insights we could, maybe we find some pattern or<br>
something that might help us (not sure what though). Since I have a<br>
feeling, we might get better performance in one run and not so good in<br>
another.<br></blockquote><div><br></div><div>Thats true, that’s what troubling me the most. Before testing I read on stack overflow that sys+user time is always correct,</div><div>but the most disturbing factor was that same port gives results significant differences on multiple runs. Like in case of gettext + reps, sometimes I get time as high as 13 mins and sometimes 11:30. Differences are also noticeable in sys and user times.</div><div>Also I always made these tests on a completely new installation of the base.</div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-style:solid;border-left-color:rgb(204,204,204);padding-left:1ex">
<br>
I notice that some ports take less time with modification and some<br>
ports take more time. Just want to make sure it happens in multiple<br>
runs.<br></blockquote><div><br></div><div>I have made some more improvements since the last time, This time will make tests on every port for 10 times and upload on spreadsheet.<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-style:solid;border-left-color:rgb(204,204,204);padding-left:1ex">
<br>
In an ideal scenario, I would prefer a clean environment (can be a<br>
fresh install of OS, bare minimum apps running, reboot before each<br>
run, etc.) to run each test (containers maybe? or some CI like travis)<br>
which might not be affected by other processes running in background.<br>
<br></blockquote><div>I didn’t reboot the system last time when I tested, but I had all my apps closed and only 2 tabs open in terminal, 1 for modified base and 1 for original. Also I didn’t make any runs simultaneously. This time I will reboot after each run, but testing like that for sure Is gonna take some days for a good number of ports.</div><div>Fresh install of OS probably would be hard for me, can’t it be like a guest user.</div><div> </div><div>Thanks for the help,</div><div>Mihir</div></div></div>