Programmierung precision

25

Das Begrenzen von Gleitkommazahlen auf zwei Dezimalstellen

Ich möchte aauf 13,95 gerundet werden . >>> a 13.949999999999999 >>> round(a, 2) 13.949999999999999 Die roundFunktion funktioniert nicht wie erwartet.

1691 python floating-point rounding precision

12

Was ist der Unterschied zwischen Float und Double?

Ich habe über den Unterschied zwischen doppelter und einfacher Genauigkeit gelesen. In den meisten Fällen scheint die Verwendung des einen oder anderen die Ergebnisse jedoch nicht zu beeinflussen floatund doublescheint austauschbar zu sein. Ist das wirklich der Fall? Wann sind Schwimmer und Doppel austauschbar? Was sind die Unterschiede zwischen ihnen?

420 c++ c floating-point precision

11

Wie drucke ich mit cout einen doppelten Wert mit voller Präzision?

Also habe ich die Antwort auf meine letzte Frage bekommen (ich weiß nicht, warum ich nicht daran gedacht habe). Ich habe eine doubleVerwendung gedruckt cout, die gerundet wurde, als ich sie nicht erwartet hatte. Wie kann ich einen coutAusdruck doublemit voller Präzision erstellen?

331 c++ floating-point precision iostream cout

10

JavaScript, das einen Gleitkommawert mit 2 Dezimalstellen anzeigt

Ich wollte eine Zahl mit 2 Dezimalstellen anzeigen. Ich dachte, ich könnte toPrecision(2)in JavaScript verwenden. Wenn die Nummer jedoch ist 0.05, bekomme ich 0.0500. Ich möchte lieber, dass es gleich bleibt. Sehen Sie es auf JSbin . Was ist der beste Weg, dies zu tun? Ich kann mir vorstellen, ein …

316 javascript floating-point precision

3

Wie interpretiere ich die Genauigkeit und Skalierung einer Zahl in einer Datenbank?

Ich habe die folgende Spalte in einer Datenbank angegeben: dezimal (5,2) Wie interpretiert man das? Anhand der Eigenschaften in der Spalte, die in SQL Server Management Studio angezeigt werden, kann ich sehen, dass dies bedeutet: dezimal (numerische Genauigkeit, numerische Skala). Was bedeuten Präzision und Skalierung real? Es wäre einfach, dies …

245 sql database decimal scale precision

11

Holen Sie sich DateTime.Now mit Millisekunden-Genauigkeit

Wie kann ich einen Zeitstempel der tatsächlichen Zeit mit Millisekundengenauigkeit genau erstellen? Ich brauche so etwas wie 16.4.2013 9: 48: 00: 123. Ist das möglich? Ich habe eine Anwendung, in der ich 10 Mal pro Sekunde Werte abtastet und diese in einem Diagramm anzeigen muss.

230 c# datetime precision milliseconds

6

Warum sind Gleitkommazahlen ungenau?

Warum verlieren einige Zahlen an Genauigkeit, wenn sie als Gleitkommazahlen gespeichert werden? Zum Beispiel kann die Dezimalzahl 9.2genau als Verhältnis von zwei Dezimalzahlen ( 92/10) ausgedrückt werden, die beide genau in binär ( 0b1011100/0b1010) ausgedrückt werden können . Das gleiche Verhältnis, das als Gleitkommazahl gespeichert ist, ist jedoch niemals genau …

198 floating-point language-agnostic precision

30

Unerwartete Ergebnisse bei der Arbeit mit sehr großen Ganzzahlen in interpretierten Sprachen

Ich versuche , die Summe zu bekommen 1 + 2 + ... + 1000000000, aber ich bin immer lustig Ergebnisse in PHP und Node.js . PHP $sum = 0; for($i = 0; $i <= 1000000000 ; $i++) { $sum += $i; } printf("%s", number_format($sum, 0, "", "")); // 500000000067108992 Node.js …

192 php node.js precision integer-overflow integer-arithmetic

3

Warum ist eine Roundtrip-Konvertierung über eine Zeichenfolge für ein Double nicht sicher?

Vor kurzem musste ich ein Double in Text serialisieren und es dann zurückbekommen. Der Wert scheint nicht gleichwertig zu sein: double d1 = 0.84551240822557006; string s = d1.ToString("R"); double d2 = double.Parse(s); bool s1 = d1 == d2; // -> s1 is False Laut MSDN: Standard Numeric Format Strings soll …

185 c# double tostring precision

11

Was ist der Unterschied zwischen einer Gleitkommaoperation mit einfacher und doppelter Genauigkeit?

Was ist der Unterschied zwischen einer Gleitkommaoperation mit einfacher Genauigkeit und einer Gleitkommaoperation mit doppelter Genauigkeit? Ich interessiere mich besonders für praktische Begriffe in Bezug auf Videospielkonsolen. Verfügt der Nintendo 64 beispielsweise über einen 64-Bit-Prozessor, und wenn dies der Fall ist, bedeutet dies, dass er Gleitkommaoperationen mit doppelter Genauigkeit ausführen …

168 floating-point precision processor operations

10

Ist Gleitkomma-Mathematik in C # konsistent? Kann es sein?

Nein, dies ist keine weitere Frage "Warum ist (1 / 3.0) * 3! = 1" . Ich habe in letzter Zeit viel über Gleitkomma gelesen; Insbesondere, wie dieselbe Berechnung auf verschiedenen Architekturen oder Optimierungseinstellungen zu unterschiedlichen Ergebnissen führen kann . Dies ist ein Problem bei Videospielen, in denen Wiederholungen gespeichert …

155 c# .net floating-point precision ieee-754

3

Warum bleibt das mehrfache Hinzufügen von 0,1 verlustfrei?

Ich weiß, dass die 0.1Dezimalzahl nicht exakt mit einer endlichen Binärzahl dargestellt werden kann ( Erklärung ), daher double n = 0.1verliert sie an Genauigkeit und ist nicht genau 0.1. Andererseits 0.5kann genau dargestellt werden, weil es ist 0.5 = 1/2 = 0.1b. Trotzdem ist es verständlich, dass 0.1 dreimaliges …

152 java floating-point double precision

21

Behalten Sie die Präzision mit double in Java bei

public class doublePrecision { public static void main(String[] args) { double total = 0; total += 5.6; total += 5.8; System.out.println(total); } } Der obige Code wird gedruckt: 11.399999999999 Wie würde ich dies dazu bringen, nur 11.4 zu drucken (oder als verwenden zu können)?

149 java floating-point double precision

8

Unterschied zwischen toFixed () und toPrecision ()?

Ich bin neu in JavaScript und habe gerade entdeckt toFixed()und toPrecision()Zahlen gerundet. Ich kann jedoch nicht herausfinden, was der Unterschied zwischen den beiden ist. Was ist der Unterschied zwischen number.toFixed()und number.toPrecision()?

124 javascript rounding precision

3

Steuern der Anzahl der Dezimalstellen in der Druckausgabe in R.

In R gibt es eine Option, um die Kontrolle über die Ziffernanzeige zu erlangen. Beispielsweise: options(digits=10) soll die Berechnungsergebnisse bis zum Ende der R-Sitzung in 10 Ziffern angeben. In der Hilfedatei von R lautet die Definition für den Ziffernparameter wie folgt: Ziffern: Steuert die Anzahl der Ziffern, die beim Drucken …

110 r precision digits r-faq output-formatting

Als «precision» getaggte Fragen