Skip to main content
Log in

Highly parameterized model calibration with cloud computing: an example of regional flow model calibration in northeast Alberta, Canada

Calibration d’un modèle à forte paramétrisation avec le cloud computing: un exemple d’une calibration d’un modèle régional d’écoulement dans le Nord Est de l’Alberta, Canada

Calibración de un modelo altamente parametrizado con computación en la nube: un ejemplo de calibración de un modelo de flujo regional en el noreste de Alberta, Canadá

采用云计算的高度参数化的模型校准:加拿大亚伯达省东北部区域水流模型校准的例子

Calibração altamente parametrizada de modelo com computação em nuvem: um exemplo de calibração do modelo de fluxo regional no nordeste de Alberta, Canadá

  • Technical Note
  • Published:
Hydrogeology Journal Aims and scope Submit manuscript

Abstract

Expanding groundwater datasets collected by automated sensors, and improved groundwater databases, have caused a rapid increase in calibration data available for groundwater modeling projects. Improved methods of subsurface characterization have increased the need for model complexity to represent geological and hydrogeological interpretations. The larger calibration datasets and the need for meaningful predictive uncertainty analysis have both increased the degree of parameterization necessary during model calibration. Due to these competing demands, modern groundwater modeling efforts require a massive degree of parallelization in order to remain computationally tractable. A methodology for the calibration of highly parameterized, computationally expensive models using the Amazon EC2 cloud computing service is presented. The calibration of a regional-scale model of groundwater flow in Alberta, Canada, is provided as an example. The model covers a 30,865-km2 domain and includes 28 hydrostratigraphic units. Aquifer properties were calibrated to more than 1,500 static hydraulic head measurements and 10 years of measurements during industrial groundwater use. Three regionally extensive aquifers were parameterized (with spatially variable hydraulic conductivity fields), as was the aerial recharge boundary condition, leading to 450 adjustable parameters in total. The PEST-based model calibration was parallelized on up to 250 computing nodes located on Amazon’s EC2 servers.

Résumé

L’expansion des jeux de données sur les eaux souterraines recueillies par des capteurs automatiques, et l’amélioration des bases de données ont provoqué une augmentation rapide des données disponibles pour la calibration dans le cadre de projets concernant la modélisation hydrogéologique. L’amélioration des méthodes de caractérisation du sous-sol ont accru, considérant la complexité des modèles, la nécessité de représenter les interprétations géologiques et hydrogéologiques. Les grands jeux de données pour la calibration et les besoins d’une analyse prédictive significative des incertitudes ont augmenté le degré de paramétrisation nécessaire au cours de la calibration des modèles. En raison de ces exigences compétitives, des efforts en modélisation hydrogéologique moderne nécessitent un degré important de parallélisation afin que ces modèles puissent être traités du point de vue numérique. Une méthode pour la calibration de modèles fortement paramétrisés et exigeants du point de vue numérique utilisant le service Amazon EC2 de cloud computing est présenté. La calibration d’un modèle d’écoulement régional en Alberta, Canada, est fournie à titre d’exemple. Le modèle couvre un domaine de 30,865 km2 et comprend 28 unités hydrostratigraphiques. Les propriétés aquifères ont été calibrées à l’aide de plus de 1,500 données de charge hydraulique et de 10 ans de mesures d’utilisation d’eau souterraine à des fins industrielles. Trois aquifères d’extension régionale ont été paramétrisés (avec des champs de conductivité hydraulique variable dans l’espace), tout comme les conditions limites et les conditions spatiales de recharge, conduisant à ajuster au total 450 paramètres. Le modèle de calibration basé sur le schéma PEST a été parallélisé sur un maximum de 250 nœuds de calcul situés sur les serveurs EC2 d’Amazon.

Resumen

La expansión de conjuntos de datos de agua subterránea recolectados por sensores automáticos, y la mejora de las bases de datos de agua subterránea, ha causado un rápido incremento en la calibración de datos disponibles para los proyectos de modelados de agua subterránea. Los métodos mejorados de la caracterización del subsuelo ha incrementado la necesidad de la complejidad de los modelos para representar interpretaciones geológicas e hidrogeológicas. Los grandes conjuntos de datos y la necesidad de un análisis significante de la predicción de incertidumbres han incrementado el grado de parametrización necesaria durante la calibración del modelo. Debido a estas acuciantes demandas, los esfuerzos de los modelados de agua subterránea modernos requieren un grado masivo de paralelización con el objeto de permanecer computacionalmente manejables. Se presenta una metodología para la calibración de modelos computacionalmente costosos altamente parametrizada, usando el servicio de computación en la nube Amazon EC2. Se proporciona como ejemplo, la calibración de un modelo a escala regional del flujo de agua subterránea en Alberta, Canadá. El modelo cubre un dominio de 30,865 km2 e incluye 28 unidades hidroestratigráficas. Las propiedades de los acuíferos fuero calibradas con más de 1,500 mediciones de carga hidráulicas estáticas y 10 años de mediciones durante el uso industrial del agua subterránea. Se parametrizaron tres acuíferos regionalmente extensos (con campos de conductividad hidráulica espacialmente variable) como lo fue la condición del límite de la recarga aérea, lo que condujo a un total de 450 parámetros ajustables. La calibración del modelo basado en PEST fue paralelizado en hasta 250 nodos computacionales ubicados en los servidores de Amazon’s EC2.

摘要

自动传感器收集的地下水数据集扩大及地下水数据库的改进导致了可用于地下水模拟项目的校准数据快速增加。地表以下特征描述的改进方法增加了模型复杂性的需求,以展示地质和水文地质解译结果。较大的校准数据集和有意义的预测不确定性分析的需求增加了模型校准期间所需的参数化程度。由于这些计算的需要,现代地下水模拟研究需要很大的参数化程度以保证计算易于处理。展示了采用Amazon EC2云计算高度参数化、计算上昂贵模型的一种校准方法。加拿大亚伯达省地下水流区域模型的校准作为一个实例。模型覆盖30,865平方公里的范围,包括28个水文地层单元。对含水层特性进行了校准,校准了1500个静态水头测量结果和工业用地下水期间10年的测量结果。如同过去的补给边界条件,对三个区域范围的含水层(及空间上变化的水力传导率场)进行了参数化,总共导致450个参数可调整。基于PEST的模型校准平行 放置于位于Amazon EC2服务器上的250个计算节点。

Resumo

A expansão de séries de dados de águas subterrâneas recolhidos por sensores automatizados e a melhoria das bases de dados de águas subterrâneas causaram um rápido aumento dos dados de calibração disponíveis para projetos de modelação de águas subterrâneas. Melhores métodos de caraterização da subsuperfície têm aumentado a necessidade de modelos complexos para representar as interpretações geológicas e hidrogeológicas. As maiores séries de dados de calibração e a necessidade de análises de incerteza preditiva com significado têm ambas aumentado o grau de parametrização necessário durante a calibração do modelo. Devido a essas exigências competitivas, os recentes esforços de modelação de águas subterrâneas exigem um enorme grau de paralelização, a fim de permanecerem computacionalmente tratáveis. É apresentada uma metodologia para a calibração de modelos computacionais dispendiosos altamente parametrizados utilizando o serviço de computação em nuvem Amazon EC2. Como exemplo, é fornecida a calibração de um modelo de fluxo de água subterrânea à escala regional em Alberta, no Canadá. O modelo cobre um domínio de 30,865 km2 e inclui 28 unidades hidroestratigráficas. As propriedades do aquífero foram calibradas para mais de 1,500 medições do potencial hidráulico estático e 10 anos de medições durante o uso industrial das águas subterrâneas. Foram parametrizados três aquíferos regionalmente extensos (com campos de condutividade hidráulica espacialmente variável), bem como as condições de fronteira da recarga aérea, levando a um total de 450 parâmetros ajustáveis. A calibração do modelo baseado no PEST foi paralelizada em até 250 nós computorizados, localizados em servidores EC2 da Amazon.

This is a preview of subscription content, log in via an institution to check access.

Access this article

Price excludes VAT (USA)
Tax calculation will be finalised during checkout.

Instant access to the full article PDF.

Fig. 1
Fig. 2
Fig. 3
Fig. 4
Fig. 5
Fig. 6

References

  • Armbrust M, Fox A, Griffith R et al (2009) Above the clouds: a Berkeley view of cloud computing. Technical report no. UCB/EECS-2009-28, University of California at Berkley, Berkeley, CA

  • Beven K, Binley A (1992) The future of distributed models: model calibration and uncertainty prediction. Hydrol Processes 6:279–298

    Article  Google Scholar 

  • Bredehoeft J (2007) On modeling philosophies. Ground Water 44:496–499

    Article  Google Scholar 

  • Buerger C, Kollet S, Schumacher J et al (2012) Introduction of a Web service for cloud computing with the integrated hydrologic simulation platform ParFlow. Comput Geosci 48:334–336

    Article  Google Scholar 

  • Doherty J, Fienen M, Hunt R (2010) Approaches to highly parameterized inversion: pilot point theory, guidelines, and research directions. US Geol Surv Sci Invest Rep 2010–5168, 36 pp

  • Fienen M, Kunicki T, and Kester D (2011) cloudPEST: a python module for cloud-computing deployment of PEST, a program for parameter estimation. US Geol Surv Open-File Rep 2011–1062, 22 pp

  • Hunt R, Zheng C (2012) The current state of modeling. Ground Water 50:329–339

    Google Scholar 

  • Hunt R, Luchette J, Schreuder W et al (2010) Using a cloud to replenish parched groundwater modeling efforts. Ground Water 48:360–365. doi:10.1111/j.1745- 6584.2010.00699.x

    Article  Google Scholar 

  • Knight R, Lane R, Ross H et al. (2007) Implicit ore delineation. Proceedings of Exploration 07: Fifth Decennial International Conference on Mineral Exploration, Toronto, September 2007, pp 1165–1169

  • Kuczera G, Parent E (1998) Monte Carlo assessment of parameter uncertainty in conceptual catchment models: the Metropolis algorithm. J Hydrol 211:69–85

    Article  Google Scholar 

  • Langevin C, Panday S (2012) Future of groundwater modeling. Ground Water 50:333–333. doi:10.1111/j.1745-6584.2012.00937.x

    Article  Google Scholar 

  • Leake S (2011) Capture: rates and directions of groundwater flow don’t matter! Groundwater 49:456–458

    Article  Google Scholar 

  • Liu Y, Sun A, Nelson K et al (2012) Cloud computing for integrated stochastic groundwater uncertainty analysis. Int J Digital Earth. doi:10.1080/17538947.2012.687778

    Google Scholar 

  • Pinder G, Bredehoeft J (1968) Application of the digital computer for aquifer evaluation. Water Resour Res 4:1069–1093

    Article  Google Scholar 

  • Schreuder W (2009) Running BeoPEST. In: Proceedings of the 1st PEST Conference, Potomac, MD, 1–3 November 2009

  • Tonkin MJ, Doherty J (2005) A hybrid regularized inversion methodology for highly parameterized environmental models, Water Resour Res 41, W10412. doi:10.1029/2005WR003995

  • Tonkin M, Doherty J (2009) Calibration-constrained Monte Carlo analysis of highly parameterized models using subspace techniques. Water Resour Res 45, W00B10. doi:10.1029/2007WR006678

    Google Scholar 

Download references

Acknowledgements

We wish to acknowledge the Christina Lake Water Management Agreement parties for choosing to pursue this methodology for model calibration and allowing us to share the results.

Author information

Authors and Affiliations

Authors

Corresponding author

Correspondence to Kevin Hayley.

Rights and permissions

Reprints and permissions

About this article

Cite this article

Hayley, K., Schumacher, J., MacMillan, G.J. et al. Highly parameterized model calibration with cloud computing: an example of regional flow model calibration in northeast Alberta, Canada. Hydrogeol J 22, 729–737 (2014). https://doi.org/10.1007/s10040-014-1110-8

Download citation

  • Received:

  • Accepted:

  • Published:

  • Issue Date:

  • DOI: https://doi.org/10.1007/s10040-014-1110-8

Keywords

Navigation