Erfolgreich getestet, dass die Lösung von i40west zum manuellen Starten des Simulators funktioniert, aber es scheint albern, dass ein iOS-Simulator heutzutage unterschiedliche Xcode-Versionen UND unterschiedliche Gerätetypen benötigt, wenn gleichzeitige Tests über die Befehlszeile ausgeführt werden (etwas anderer Anwendungsfall, aber im Zusammenhang mit der ursprünglichen Frage oben) ).
Lesen Sie hier den Apple-Artikel, der für Befehlszeilenerstellungen und -tests am relevantesten ist:
https://developer.apple.com/library/ios/technotes/tn2339/_index.html
Mehrere gleichzeitige Tests haben für uns gut funktioniert, wenn korrekte --args - an 'iOS simulator.app' übergeben wurden, bevor der Befehl 'xcodebuild test' mit korrektem '-destination'-Wert ausgeführt wurde, der dem Simultator-Start mit dem Wert von UUID aus der Ausgabe von' xcrun entspricht simctl list 'und Festlegen der Umgebungsvariablen DEVELOPER_DIR zur Auswahl verschiedener Binärdateien der XCode-Version (dh Basispfad zu Xcode 6.1 und 6.4)
Der Grund für die Notwendigkeit gleichzeitiger Komponententests auf demselben physischen Computer und demselben iOS-Simulatorgerät wie iPad oder iPhone und derselben Xcode-Version ist in erster Linie die Unterstützung der CI (kontinuierliche Integration) eines iOS-Projekts, bei der dasselbe Build-System mehr als einen Build von mehreren ausführen kann Apps (unser Unternehmen verfügt über ca. 30 Apps) werden beim Einchecken in Feature-Zweige automatisch vom Bamboo-Agenten gescannt und erstellt, ohne auf den Abschluss anderer laufender Builds warten zu müssen. Bamboo unterstützt diese Art des automatischen Build-on-Auto-Builds. erkannte Feature-Zweige, falls aktiviert.
Was passiert, wenn mehrere Tests gleichzeitig ausgeführt werden? Wir führen mehrere "xcodebuild test" -Befehle zweimal hintereinander in verschiedenen Terminal.app-Fenstern aus. Das Ergebnis ist, dass nur ein Simulatorfenster angezeigt wird und die Tests im einfachsten Test fehlschlagen.
Wenn wir die Eingabekriterien für unseren Teststart, unterschiedliche Xcode-Versionen für jede Sim und jeden Teststart, komplizieren, geben wir bei Verwendung von DEVELOPER_DIR gemäß Manpages (xcodebuild-Test) ein anderes Gerät an, das in zwei separaten Fenstern geöffnet wird. Das Ergebnis ist jedoch das folgende Alle laufenden Tests im ersten Fenster werden durch das zweite iOS-Simulatorfenster unterbrochen.
Unter der Haube scheint sich eine gemeinsame Ressource zu befinden, die im Weg steht, nicht sicher ist, ob sie beabsichtigt ist, oder nur eine neue Funktion, die mehr als ein paar Tage lang ernsthafte Überlegungen erfordert, wie gleichzeitige Testläufe ohne nachteilige Auswirkungen besser implementiert werden können.
Wir möchten keine VMs verwenden, um die Simulationsbeschränkungen zu umgehen, da unsere Erfahrung und die anderer im Allgemeinen darin besteht, dass die Leistung beim Erstellen von iOS auf VMs mit einer großen Anzahl kleiner Dateien langsamer ist als bei physischer Hardware. VMs verlangsamen den Aufbau im Allgemeinen aufgrund von E / A-Problemen in der Kombination von VMware-Software und Apple-Hardware und / oder -Firmware erheblich. Es tut uns leid, virtuelles Ghetto, aber für uns funktionieren VMs nicht gut. Auf der virtuellen Ghetto-Website finden Sie Anweisungen zur Installation von ESXi 5.5 auf Mac Mini für unsere Buildfarm.
Wir haben festgestellt, dass das Problem mit der Build-Leistung mit ESXi 5.5 auf Mac Mini selbst mit SSD um den Faktor 2 oder mehr langsamer als Bare Metal ist (dh ein 10-minütiger Baremetal-Build dauert 20 auf VM). Lesen Sie den folgenden Squareup-Artikel, warum.
https://corner.squareup.com/2015/07/ios-build-infrastructure.html
Die Beschränkung von jeweils einem Sim-Gerät für xcodebuild-Komponententests verringert die Produktivität erheblich und führt zu erheblichen Kosten für Apple und das Ökosystem.
Die Kosten für Apple, keine Parallelität zu unterstützen, um mehr Hardwarekäufe zu rechtfertigen, sollten sorgfältig abgewogen werden, um das Risiko eines Verlusts der Entwicklergeschwindigkeit gegenüber anderen Wettbewerbern abzuwägen, die weniger Einschränkungen in Bezug auf Sims und EULA haben.
Der Vorteil gleichzeitiger Tests bei derselben Benutzeranmeldung (wie die meisten ci-Systeme funktionieren) besteht in der Qualität der App Store-Apps der Marke Apple, die zum Teil dazu führt, dass Benutzer die iOS-Geräte überhaupt erst kaufen. Eine schlechte Softwarequalität macht die gesamte Marke etwas träger und die Unterstützung von Parallelität in iOS-Simulatoren scheint definitiv der kluge Weg zu sein, um das Ökosystem zu unterstützen. Eine kleine Folge des vorliegenden Problems sind die jüngsten Verbesserungen wie der Xcode-Server für CI von Apple, die automatisierten UI-Testfunktionen von Xcode in Xcode 7.
Die Ermutigung zu unnötigen Gemeinkosten, um Menschen dazu zu bringen, massenhaft Hardware, Setup, Konfiguration und zahlreiche Personen zu kaufen, die für die Unterstützung aller Maschinen, Netzwerke und Steckdosen usw. erforderlich sind, kann letztendlich die Gewinne von Apple beeinträchtigen, da nicht jeder wie Apple und Apple ist Sie können sich Racks mit MacPro oder Mac Mini leisten, um gleichzeitige Tests auf Simulatoren zu unterstützen. Der Sinn eines Simulators besteht darin, die Verwendung der Hardware zu vermeiden und die Tests zu beschleunigen.
Außerdem machen die EULA-Beschränkungen für VMs die Argumente für VMs auf Mac Pro recht schwach. Dieser Hardwaretyp wäre attraktiv, wenn mehrere Sims ausgeführt werden könnten. Da jedoch gleichzeitige Komponententests nicht unterstützt werden (außer unter den beiden oben genannten Bedingungen - unterschiedliche XCode-Version und unterschiedliches Simulatorgerät), werden wir uns wahrscheinlich an Mac Minis für die Build-Infrastruktur halten.
Diese Sim- und EULA-Einschränkungen von Apple verlangsamen nicht nur die Build-Pipeline, sondern erhöhen auch die Komplexität und die Kosten. Für kleine Apps mag dies nicht so wichtig sein, aber wenn die Apps an Größe und Komplexität zunehmen, kann der Build bis zu einer Stunde dauern (ich habe gehört, dass Facebook iOS-Builds so lange dauern können). Niemand möchte eine Stunde warten, um zu wissen, ob ein Build bestanden hat.
Wir kennen Hack-Lösungen wie das Ausführen von ESXI-VMs auf Mac Minis, die unter OS X und xcodebuild bei großen Projekten mit Builds, die auf einem modernen Mac Book Pro oder Mac Mini länger als 10 Minuten dauern, oder anderen Anmeldekonten keine gute Leistung bringen auf einer Bare-Metal-Maschine an die Umgebung, um gleichzeitig Tests mit derselben Xcode-Version und demselben Simulatorgerät ausführen zu können.
ESXi wird offiziell nicht unterstützt, obwohl es ziemlich gut funktioniert. Einer der Gründe, warum VMware Mac Mini-Hardware möglicherweise noch nicht unterstützt, ist der Mangel an ECC-Speicher. Obwohl Mac Pro unterstützt wird, da es über ECC-Speicher verfügt, hat es wahrscheinlich dieselben Probleme wie die Mac Minis in Bezug auf iOS-Builds, die im Vergleich zu Bare Metal langsamer werden Tests auf derselben Hardware- und Softwarekonfiguration (nur Änderung gegenüber VM gegenüber Bare Metal unter OS X). MacPro wurde zu diesem Zeitpunkt noch nicht von uns getestet. Nach unserer Erfahrung ist VMware Fusion auch in Bezug auf die Leistung recht langsam.
Noch wichtiger ist, dass Entwickler länger warten müssen, wenn die oben genannten Probleme zusammengefügt werden, es sei denn, der Maschinenpool ist groß genug, um eine Vielzahl von Änderungen zu unterstützen (ein CI-Build pro 2 Entwickler, sehr hohes Verhältnis von Maschinen zu Entwickler). CI-Build-Maschinen sollten in der Lage sein, mehr gleichzeitige Builds und mehr gleichzeitige Tests als 1 auszuführen.
Eine weitere Beobachtung zu den iOS-Simulatoren ist, dass sie noch in Arbeit zu sein scheinen und auch nach 7 Hauptversionen noch nicht fertig sind. Der Unterbefehl 'xcrun simctl' verfügt über die Option --set, die möglicherweise eine gewisse Flexibilität zulässt, jedoch nicht sicher ist, welcher mögliche Wert gültig ist, und dies gilt auch für --noxpc. Niemand sollte geeignete Werte erraten müssen, und außerdem sollte es eine Manpage geben, die diese Option und möglicherweise ein Beispiel behandelt. Was sind einige Anwendungsfälle für diese 2 interessanten Optionen?
Sie können sagen, dass keine App so konzipiert sein sollte, dass sie einen großen Platzbedarf hat, der die gleichzeitige Ausführung von Tests und die Verwendung einer besseren Architektur auf XPC-Basis rechtfertigt, da monolithische Apps das Problem sind. Dies mag sehr wohl richtig sein, es ist keine so pragmatische Lösung, wie wir es uns erhoffen könnten, und das Problem bleibt bestehen, wenn Sie über 20 Apps haben, die auf derselben Infrastruktur aufbauen können.
Um eine Maschinenkonfiguration und Prozesse so allgemein und skalierbar wie möglich für einen höheren Durchsatz zu gestalten, muss der Simulator (App + Core-Entwickler) bearbeitet werden. Es erfordert auch ein hohes Maß an Zusammenarbeit zwischen allen Apple-Simulator-Entwicklern und den Simulator-Produktbesitzern, die das Product Backlog korrekt bestellen müssen, damit dieses Problem Beachtung findet :-)
