<div dir="ltr">Hi Ryan,<div><br></div><div>I would just like to point out regarding testsuites that it can sometimes happen in my experience for the test phase to fail because of a problem in packaging rather than an inherent problem in the source. For example, something wasn't linked properly, and the way a library was passed to configure needs to be revised, or something like that.</div><div><br></div><div>David</div></div><div class="gmail_extra"><br><div class="gmail_quote">On Sat, Mar 24, 2018 at 9:11 PM, Ryan Schmidt <span dir="ltr"><<a href="mailto:ryandesign@macports.org" target="_blank">ryandesign@macports.org</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><span class=""><br>
On Mar 24, 2018, at 18:41, Michael Dickens wrote:<br>
<br>
> The only other "gotcha" I wonder about is including buildbots for various target OSs [do PRs already go through building on (say) 10.6 and newer?]<br>
<br>
</span>The Buildbot is not currently involved in doing builds of PRs. There has been discussion on the mailing list about how that might be accomplished; see other thread.<br>
<br>
Currently PRs are tested by a separate build infrastructure on Travis. It runs on three systems: Xcode 7.3 on OS X 10.11, Xcode 8.3 on macOS 10.12, and Xcode 9.3beta on macOS 10.13. These builds deliver different results than the Buildbot would. For example, if a port requires pkgconfig, and that dependency has not been declared, the build on the Buildbot will likely fail because pkgconfig is not there; the developer can notice this and correct the error. But on Travis, pkgconfig often gets installed as a dependency earlier in the process, so we won't notice if a port has failed to declare that dependency (until the PR gets merged and then built by the Buildbot). Another problem with the Travis setup is that because it starts from a clean slate every time, it has to install all dependencies first; if a dependency is nondistributable and has to be built from source, and especially if it is a large dependency, that can take more time than Travis allows, and the build times out; in that case, we have no information about whether the build would have succeeded or not, if allowed to finish.<br>
<br>
<br>
</blockquote></div><br></div>