Вопросы с тегом «precision»

Я хочу aокругляться до 13,95 . >>> a 13.949999999999999 >>> round(a, 2) 13.949999999999999 roundФункция не работает так , как я ожидал.

1692 python  floating-point  rounding  precision 

Я читал о разнице между двойной точностью и одинарной точностью. Тем не менее, в большинстве случаев, floatи , doubleкажется, быть взаимозаменяемыми, то есть с помощью одного или другого , кажется, не влияют на результаты. Это действительно так? Когда поплавки и двойники взаимозаменяемы? Каковы различия между ними?

420 c++  c  floating-point  precision 

Итак, я получил ответ на мой последний вопрос (я не знаю, почему я не подумал об этом). Я печатал doubleиспользование, coutкоторое округлилось, когда я не ожидал этого. Как я могу сделать coutпечать с doubleиспользованием полной точности?

332 c++  floating-point  precision  iostream  cout 

Я хотел отобразить число до 2 десятичных знаков. Я думал, что мог бы использовать toPrecision(2)в JavaScript. Однако, если номер есть 0.05, я получу 0.0500. Я бы предпочел, чтобы это осталось прежним. Смотрите это на JSbin . Каков наилучший способ сделать это? Я могу подумать о кодировании нескольких решений, но я …

316 javascript  floating-point  precision 

У меня есть следующий столбец, указанный в базе данных: десятичный (5,2) Как можно это интерпретировать? В соответствии со свойствами столбца, которые отображаются в SQL Server Management Studio, я вижу, что это означает: десятичное число (точность чисел, числовой масштаб). Что означают точность и масштаб в реальном выражении? Было бы легко интерпретировать …

245 sql  database  decimal  scale  precision 

Как точно построить временную отметку реального времени с точностью до миллисекунд? Мне нужно что-то вроде 16.4.2013 9: 48: 00: 123. Это возможно? У меня есть приложение, в котором я выбираю значения 10 раз в секунду, и мне нужно показать их на графике.

231 c#  datetime  precision  milliseconds 

Почему некоторые числа теряют точность при хранении в виде чисел с плавающей запятой? Например, десятичное число 9.2может быть выражено точно как отношение двух десятичных целых чисел ( 92/10), оба из которых могут быть выражены точно в двоичном ( 0b1011100/0b1010). Однако, то же самое отношение, сохраненное как число с плавающей запятой, …

198 floating-point  language-agnostic  precision 

Я пытаюсь получить сумму 1 + 2 + ... + 1000000000, но я получаю смешные результаты в PHP и Node.js . PHP $sum = 0; for($i = 0; $i <= 1000000000 ; $i++) { $sum += $i; } printf("%s", number_format($sum, 0, "", "")); // 500000000067108992 Node.js var sum = 0; …

192 php  node.js  precision  integer-overflow  integer-arithmetic 

Недавно мне пришлось сериализовать двойник в текст, а затем вернуть его обратно. Значение кажется не эквивалентным: double d1 = 0.84551240822557006; string s = d1.ToString("R"); double d2 = double.Parse(s); bool s1 = d1 == d2; // -> s1 is False Но в соответствии с MSDN: Стандартные строки числового формата , опция …

185 c#  double  tostring  precision 

В чем разница между операцией с плавающей запятой одинарной точности и операцией с плавающей запятой двойной точности? Меня особенно интересуют практические термины в отношении игровых приставок. Например, есть ли в Nintendo 64 64-битный процессор и означает ли это, что он способен выполнять операции с плавающей запятой двойной точности? Могут ли …

169 floating-point  precision  processor  operations 

Нет, это не другой вопрос «Почему (1 / 3.0) * 3! = 1» . В последнее время я много читаю о числах с плавающей запятой; в частности, как один и тот же расчет может дать разные результаты для разных архитектур или настроек оптимизации. Это проблема для видеоигр, в которых хранятся …

155 c#  .net  floating-point  precision  ieee-754 

Я знаю, что 0.1десятичное число не может быть представлено точно конечным двоичным числом ( объяснение ), поэтому double n = 0.1потеряет некоторую точность и не будет точно 0.1. С другой стороны, 0.5можно представить именно так, как оно есть 0.5 = 1/2 = 0.1b. Сказав, что понятно, что добавление 0.1 три …

152 java  floating-point  double  precision 

public class doublePrecision { public static void main(String[] args) { double total = 0; total += 5.6; total += 5.8; System.out.println(total); } } Приведенный выше код печатает: 11.399999999999 Как мне заставить это просто напечатать (или быть в состоянии использовать это как) 11.4?

149 java  floating-point  double  precision 

Я новичок в JavaScript и просто обнаружили toFixed()и toPrecision()в круглых цифрах. Однако я не могу понять, в чем разница между ними. В чем разница между number.toFixed()и number.toPrecision()?

124 javascript  rounding  precision 

В R есть опция для управления отображением цифр. Например: options(digits=10) Предполагается, что до конца R-сессии будет выдавать 10-значные результаты вычислений. В файле справки R определение параметра digits выглядит следующим образом: digits: контролирует количество цифр для печати при печати числовых значений. Это всего лишь предложение. Допустимые значения: 1 ... 22, по …

110 r  precision  digits  r-faq  output-formatting