Вопросы с тегом «precision»

Это был вопрос, который мне задали во время моего недавнего интервью, и я хочу знать (на самом деле я не помню теорию численного анализа, поэтому, пожалуйста, помогите мне :) Если у нас есть какая-то функция, которая накапливает числа с плавающей запятой: std::accumulate(v.begin(), v.end(), 0.0); vэто std::vector<float>, например. Не лучше ли …

105 c++  floating-point  precision 

Я знаю, что обычно нельзя полагаться на равенство между значениями типа double или decimal, но мне интересно, является ли 0 особым случаем. Хотя я могу понять неточности между 0,00000000000001 и 0,00000000000002, само значение 0 кажется довольно сложным, поскольку это просто ничего. Если вы неточны ни в чем, это уже не …

100 c#  .net  floating-point  precision  zero 

Я просто столкнулся с неожиданным поведением DateTime.UtcNow при выполнении некоторых модульных тестов. Похоже, что когда вы вызываете DateTime.Now/UtcNow в быстрой последовательности, он, кажется, возвращает вам то же значение для более длительного, чем ожидалось, интервала времени, а не фиксирует более точные приращения миллисекунды. Я знаю, что есть класс Stopwatch, который лучше …

97 c#  .net  datetime  precision  time-precision 

Это то, о чем я думал в течение многих лет, но я никогда не находил времени, чтобы спросить раньше. Многие (псевдо) генераторы случайных чисел генерируют случайное число от 0,0 до 1,0. Математически в этом диапазоне бесконечные числа, но doubleэто число с плавающей запятой и, следовательно, имеет конечную точность. Итак, вопросы: …

95 random  floating-point  double  precision 

Это не вопрос, так как нужно знать. Я обновил приложение, использующее json_encode()PHP7.1.1, и обнаружил проблему с изменением числа с плавающей запятой, которое иногда увеличивалось до 17 цифр. Согласно документации, PHP 7.1.x начал использовать serialize_precisionвместо точности при кодировании двойных значений. Я предполагаю, что это вызвало примерное значение 472,185 стать 472.18500000000006 после …

93 php  json  precision  php-7.1 

У меня есть клиенты, которые получают странные счета. Мне удалось выделить основную проблему: SELECT 199.96 - (0.0 * FLOOR(CAST(1.0 AS DECIMAL(19, 4)) * CAST(199.96 AS DECIMAL(19, 4)))) -- 200 what the? SELECT 199.96 - (0.0 * FLOOR(1.0 * CAST(199.96 AS DECIMAL(19, 4)))) -- 199.96 SELECT 199.96 - (0.0 * FLOOR(CAST(1.0 …

84 sql-server  tsql  precision  sql-server-2016  sqldatatypes 

Закрыто . Этот вопрос должен быть более конкретным . В настоящее время он не принимает ответы. Хотите улучшить этот вопрос? Обновите вопрос, чтобы он фокусировался только на одной проблеме, отредактировав этот пост . Закрыт 4 месяца назад . Уточните этот вопрос Есть ли типы данных с большей точностью, чем float?

84 python  types  precision 

Я часто оказываюсь в ситуациях, когда необходимо проверить, превышает ли полученная разница точность станка. Похоже , что для этой цели R имеет удобную переменную: .Machine$double.eps. Однако, когда я обращаюсь к исходному коду R за рекомендациями по использованию этого значения, я вижу несколько разных шаблонов. Примеры Вот несколько примеров из statsбиблиотеки: …

36 r  floating-point  rounding  precision 

Предположим, мы берем np.dotдва 'float32'2D-массива: res = np.dot(a, b) # see CASE 1 print(list(res[0])) # list shows more digits [-0.90448684, -1.1708503, 0.907136, 3.5594249, 1.1374011, -1.3826287] Числа. Кроме того, они могут измениться: Случай 1 : срезa np.random.seed(1) a = np.random.randn(9, 6).astype('float32') b = np.random.randn(6, 6).astype('float32') for i in range(1, len(a)): print(list(np.dot(a[:i], …

15 python  c  arrays  numpy  precision 

У меня есть довольно длинный список положительных чисел с плавающей точкой ( std::vector<float>, размер ~ 1000). Числа отсортированы в порядке убывания. Если я суммирую их в следующем порядке: for (auto v : vec) { sum += v; } Я предполагаю, что у меня может быть некоторая проблема с числовой стабильностью, …

12 c++  floating-point  precision