Otro factor a considerar es la precisión de un valor numérico: un número tiene siempre una precisión asociada: doble o decimal, siendo la más baja -y precisión usada por defecto- la primera de ellas: La representación doble es equivalente al estándar de precisión doble de 64 bits del IEEE para la aritmética de punto flotante binaria. Esta representación puede representar números entre -5 x 10-324 hasta +1.7x 10308, con una precisión de 15-16 dígitos.
En ciertas funciones es posible especificar la precisión a usar. Para ello podemos usar las constantes Precision.Double y Precision.Decimal.
Otras consideraciones acerca de la precisión:
- Si el resultado de una operación matemática es demasiado pequeño para el formato de destino, el resultado se convierte en cero (positivo o negativo)
- Si el resultado de una operación matemática es demasiado grande para el formato de destino, el resultado se convierte en infinito (positivo o negativo)
- Si una operación matemática devuelve un resultado no válido, éste se convierte en NaN.
- Si al menos uno de los dos operandos de una operación de punto flotante es NaN, el resultado de la operación se convierte en NaN
