Uncertainty in the focus

On February 21-22nd 2019 we, the research group Uncertainty and Evidence Lab, attended the International Conference on Uncertainty in Risk Analysis jointly organised by BfR and EFSA. It was special with a conference focussing on uncertainty as opposed to treatment of risk or on applications. 

Ullrika and Scott Ferson had a workshop the day before the conference. 

It is possible to view talks from the conference on Youtube. Ullrika’s talk is on Youtube.

Uncategorized 0

Liverpool students are challenged by Ullrika and Scott

On Feb 6th Ullrika Sahlin and Scott Ferson debated two alternative ways to quantify epistemic uncertainty in scientific assessments – precise and bounded probability. In simple terms, subjective precise probability is the measure for epistemic uncertainty in classical Bayesian inference, while subjective bounded (imprecise, approximative) probability is a measure for epistemic uncertainty in a generalisation of Bayesian infernce allowing for sets of probabilities. The generalisation of Bayesian inference is sometimes called Robust Bayesian inference. Bounds on probability can be derived in other ways as well.

Professor Scott Ferson have a lot of experience in using precise and bounded probability. He is also a well known workshopier.

Photo. Caroline Morais 

Scott and Ullrika had a discussion/battle for students at the Institute for Risk and Uncertainty Centre for Doctoral Training – University of Liverpool. The quantification of epistemic uncertainty by precise or bounded probability was approached by challenge problems. Solutions to these will be published in due time. 

As the writer of this post, I, Ullrika, give my view on this. I think that precise probability is sometimes disregarded as a measure for epistemic uncertainty for wrong reasons or could be done better. I am often unsure of how the quantification of bounded probability is done in assessments. Propagation of bounded probability is sometimes faster than a 2-dimensional Monte Carlo simulation (separating aleatory and epistemic uncertainty), and provide conservative ouptut which can be used in a tiered risk assessment. 

With a background in Bayesian inference, I am open for embrasing the bounded probability as a measure for epistemic uncertainty, which can be useful in situations when the assessors judge precise probability as not enough to fully characterise epistemic uncertainty. By comparing these two measures for epistemic uncertainty we can strenghten the understanding of them and in a longer perspective the quantification of uncertainty in scientific assessments.

Uncategorized 0

FRAM-seminar on uncertainty in scientific assessments

On February the 7th 2019 Ullrika Sahlin gave a seminar at the FRAM Centre for Future Chemical Risk Assessment and Management Strategies in Gothenburg. 

FRAM youtube channel

Ullrika gave an snapshot of recent debates around the developments of management of uncertainty and evidence with a focus on scientific assessments. What standards for management of uncertainty are asked for today and in the future?

Risk analysis is a field which for a long time has been focusing on managing uncertainty. There are not only many sources to uncertainty, but also different types of uncertainty and ways to characterise them. Principles for risk analysis are useful for scientific assessments in general, especially when there is an aim to evaluate the impact of uncertainty due to lack of knowledge on the conclusions of an assessment. It can be to rely on empirical evidence as well as expert knowledge and data generated by models. Lately, the strengths in underlying evidence has become part of the characterisation of uncertainty. Managing uncertainty and evidence according to standards requires resources and experts on uncertainty. Who will provide these resources and where do these experts come from?

Uncategorized 0


Bayes@Lund 2019 – a Mini-conference on Bayesian Methods at Lund University, 7th of May, 2019

You are welcome to participate in the sixth edition of Bayes@Lund! The purpose of this conference is to bring together researchers and professionals working with or interested in Bayesian methods. Bayes@Lund aims at being accessible to researchers with little experience of Bayesian methods while still being relevant to experienced practitioners. The focus is on how Bayesian methods are used in research and in the industry, what advantages Bayesian methods have over classical alternatives, and how the use and teaching of Bayesian methods can be encouraged. (see last year’s conference for what to expect).

The conference will take place at Lund University, Sweden on the 7th of May 2019 starting at 9.00 and ending at 17.00. It will include contributed talks and invited presentations. This year we are more than pleased to have Sharon Bertsch McGrayne as an invited speaker. She is the author of the The Theory That Would Not Die, the bestselling book that describes the rise and fall and rise again of Bayesian statistics.

For more information and how register, please see the conference web site.

Call for Presentations

We invite you to submit a talk or short tutorial to Bayes@Lund 2019 on a topic related to Bayesian methods in research as well as in a non-academic context, including, but not restricted to:

·  Case studies. Have you used Bayesian methods in your work? Describe
what you did, and how it worked out.

·  Method development. Are you developing novel Bayesian methods or
software that you want to share?

·  Teaching Bayes. Do you have experiences teaching or introducing
Bayesian methods? What were the challenges, and do you have any
useful tips?

Each accepted speaker is given 20 minutes and, as the audience will be highly heterogeneous from different disciplines and from within and outside academia, the talk is expected to be accessible and engaging for a multidisciplinary audience.

Alternatively, short tutorials are 10/20/30 minutes long tutorials where you introduce the audience to a tool, package or methodology you find useful. It doesn’t need to be something you’ve developed, just something you want to show the audience!

For more information on how to submit a talk proposal please see here.

We hope to see you there!

All best,
The committee
Ullrika Sahlin, Rasmus Bååth, Alex Holmes, and Jakob Lavröd

Uncategorized 0

Uncertainty in scientific assessments was the topic of a workshop in Durban, South Africa

Societal trust and confidence in scientific assessments are influenced by uncertainty. A key feature of scientific assessments is therefore the treatment of uncertainty.

On January 24th 2019 the Uncertainty and Evidence Lab was involved in a workshop with the aim to introduce uncertainty and some methods to treat uncertainty in scientific assessments. The workshop was held at Durban Techincal University, South Africa. It was facilitated by Ullrika Sahlin, Lund University, and Dr Gordon O’Brien, the University of Mpumalanga. The focus was on quantitative methods to treat uncertainty in models, illustrated by findings related to the communication of uncertainty. Case-studies were taken from environmental sciences.

The workshop was attended by researchers from different disciplines.  

Uncategorized 0

UnEviL research group meeting: networks on networks

The Uncertainty and Evidence Lab was today hosted by PhD student Johanna Haussler who gave a talk on Networks on networks: modelling complex food webs on spatial networks

Biotic networks are rarely considered within a spatial context, this applies particularly to complex multitrophic communities, i.e. food webs. In my talk, I will present a novel modelling approach me and my colleagues developed, in which we applied the meta-community framework to complex food webs to understand the interplay between local feeding dynamics and species-specific dispersal dynamics at the landscape scale. Using our model, we explore how direct and indirect interactions between species in complex food webs together with spatial processes that connect sub-populations in different habitat patches interact to produce species diversity patterns in increasingly fragmented landscapes and how this interplay might modify the outcomes of fragmentation effects on biodiversity.

Three postdocs and a professor joined in and contributed to the discussion.

Afterwards we discussed the use of NetLogo and practiced presentations for the forthcoming Nordic Chapter Conference in Norway.


UnEviL research group 0

Finns det någon nytta med att vara osäker

Detta är en fråga som jag ställde på Dalby bibliotek som en del i Lunds universitets forskarturné hösten 2018. De drygt 20 åskådarna fick utstå att gissa, uttrycka deras osäkerhet och testa huruvida de har övertro i sina gissningar. Syftet med dessa övningar var att illustrera olika typer av osäkerhet och olika sätt att beskriva dem.

Jag tog upp att det är viktigt att vara osäker eftersom beslutsfattare och allmänhet ska ha möjlighet att fatta beslut på den kunskap vi har. Får de inte reda på att det finns osäkerhet kan det leda till att de ha för låg eller för hög tilltro till vad experter säger. Kännedom om rådande osäkerhet kan leda till att beslut blir bättre än vad annars hade varit fallet. Det finns nästan alltid osäkerhet. Därför är det viktigt att fundera över vilken betydelse osäkerhet har på vad vi borde göra i svåra samhällsfrågor såväl som i vardagliga problem.

Osäkerhet förknippas med något negativt. Som expert vill du inte vara osäker – du vill vara säker. Jag tycker att det undervisas för lite om osäkerhet i skola och universitet. Nästan alla lär sig om statistik, men det är långt ifrån tillräckligt för att kunna hantera osäkerhet i exempelvis vetenskapliga bedömningar. Många är osäkra på vad osäkerhet är och har inte en vana att prata om osäkerhet.

Jag, och flera med mig världen över, föreslår att göra osäkerhet till något som vi förknippar med något positivt. Vi vill reclaima osäkerhet. Genom att uttrycka din osäkerhet har du faktiskt gett beslutsfattare en chans att väga in fler möjliga konsekvenser och du visar också styrka i att erkänna vilka brister som finns och ger kanske till och med förslag på hur man kan minska osäkerhet. Det är ärligt. Ärlighet är att föredra framför att visa upp en fasad med tydliga svar (som kanske visar sig vara fel).

Under föredraget delades flera osäkerhetsknappar ut till publiken som tack för deras medverkan.

Ett sätt att börja är att just prata om vad osäkerhet är och hur vi kan beskriva osäkerhet.

Tärningsosäkerhet (aleatorisk osäkerhet) är osäkerhet som beror på slump. Man kan exempelvis använda frekvenser för att beskriva tärningsosäkerhet. I 1 av 6 utfall förväntas det bli en tvåa.

Kunskapsosäkerhet (epistemisk osäkerhet) är osäkerhet som beror på att vi saknar fullständig kunskap. Om jag kastar tärningen och ser utfallet men min kompis inte ser utfallet så har vi olika kunskap. För min del är jag säker på vad utfallet blev, medan min kompis är osäker. Kunskapsosäkerhet är sålunda personlig. Det är någon person som är osäker. Det finns inte ett sant värde på kunskapsosäkerhet. Hur osäkra vi är beror på den kunskap vi har tillgänglig just då.

Man kan använda personliga sannolikheter för att beskriva kunskapsosäkerhet. Vi säger personlig eftersom det är den tolkning vi i detta fall har för sannolikhet. Sannolikhet är i så fall hur mycket personen är beredd att satsa på möjliga värden eller utfall. Personliga sannolikheter kan användas för att uttrycka hur troligt man tror att olika värden på parametrar eller möjliga konsekvenser kan vara. Enstaka händelser beskrivs med sannolikheten att de inträffar eller hur lång tid det tar tills de inträffar. Möjliga värden kan beskrivas med sannolikhets-intervall eller sannolikhetsfördelningar. Sannolikhets-fördelningar kan man lätt kombinera med andra sannolikhets-fördelningar och vips har man en modell som man kan simulera från.

På senare tid har det även blivit vanligt att värdera kunskapsosäkerhet genom att bedöma hur bra kunskapsunderlag man har för att svara på en viss fråga. Ett begrepp som används för detta är konfidens. Konfidens kan mätas på olika sätt. Ett sätt att mäta konfidens är med sannolikhet – och nu börjar det bli krångligt om vi redan har sannolikhet för att beskriva möjliga värden eller konsekvenser. Forskare föreslår därför att låta konfidens värderas på en kvalitativ skala där man använder ord istället för siffror. Detta för att skilja dem åt.

Graden av konfidens påverkar hur man väljer att kommunicera de resultat man har. Har man gjort en bedömning med hög konfidens kan man säga att med säkerhet så vet vi att detta och detta kan hända. Om det däremot är så att konfidens anses låg så säger man att det kan vara så här – men det behövs fler studier på det och det för att få bättre kunskapsunderlag.

Hur stor tilltro (konfidens) man har till resultat i en vetenskapliga bedömning beror på om kunskapsunderlaget kan liknas vid ett städat eller ett stökigt rum.

Väderprognoser ges med en bedömning av konfidens. Dagen före var prognosen att det troligtvis skulle regna men det var en osäker prognos. En timme före var SMHI ganska säkra på att det skulle vara soligt. Här är ett exempel där det finns en sannolikhet för olika utfall (väder) som mäts i % och en bedömning av konfidens i prognosen som beskrivs med ord (osäker eller ganska säker).

Osäkerhet kan vara rätt så kul att tänka på när man pratar om att hantera osäkerhet i vetenskapliga bedömningar, i riskanalys eller när man ska fatta beslut. I verkligheten kan det vara väldigt annorlunda. Tiden mellan en katastrof och du får reda på hur det har gått för dina nära och kära är behäftad med stor osäkerhet som skapar en oerhörd press och obehag. Jag vill inte på något sätt förringa det negativa osäkerhet för med sig.

Miljöproblem och osäkerhet hänger ihop. Min forskning går ut på att förtydliga och stärka detta samband. På vägen försöker vi skapa en förändrad syn på osäkerhet till något som inte ska gömmas undan – utan som man försöker hantera på bästa möjliga sätt. Det kan innebära att vi behöver utbildas i både analys och kommunikation av osäkerhet.

Ett sätt att börja är att skapa mer tillfällen för undervisning om osäkerhet och visa på begrepp och metoder som det finns att välja – för – det finns inte en metod som funkar för all form av osäkerhet.  Dels finns det olika typer av osäkerhet och problem kan vara väldigt olika med avseende på hur starkt kunskapsunderlag som finns, hur allvarligt problemet är och hur bråttom man har att lösa det. 


risk concept/uncertainty/UnEviL research group 0

Tutorial on quantifying epistemic uncertainty by probability

This is a 3 hour tutorial where I (Ullrika Sahlin) talk about why quantification of epistemic uncertainty by probability is important and useful to master. I present two methods – Expert Knowledge Eliciation and Bayesian Analysis.

We will go through hands on examples on quantifying uncertainty in assessment inputs as well as in assessment output.

All examples will be done using code from the open source program R using the participants own laptops. It is possible to just sit in and interact without running the code.

The purpose of the tutorial is to spark interest in using probability as a measure of epistemic uncertainty. Instead of going through the maths behind it, I will walk you through hands on examples which demonstrate that it is not difficult to do Bayesian analysis in practise. We use the SHELF R-package for EKE and rjags and JAGS for MCMC sampling.

This tutorial was given in Lund 10th of October 2018

I will give it in Stavanger on November 7th between 16 – 19 in Kjølv Egelands hus, Room D301 . The tutorial is part of a conference in risk https://www.uis.no/research-and-phd-studies/research-centres/seros-centre-for-risk-management-and-societal-safety/risk2018/ Contact me if you are interested in attending the tutorial ullrika.sahlin [at] cec.lu.se or sign up for it when you register to the Conference.

The material for the tutorial is available at GitHub. Note – work in progress.


No one wants to miss the last bus (giphy.com). We do a risk analysis of missing the last bus, without and with epistemic uncertainty.

The side that comes up when throwing a dice is subject to aleatory uncertainty. Not knowing the number of sides on a dice is epistemic uncertainty. You can reduce epistemic uncertainty by observing which dice it is, but you cannot reduce aleatory uncertainty by throwing the dice (not even if done many times).

I asked the participants to express their uncertainty in the likelihood that Sweden will have the Winter Olympic Games 2026.



risk concept/teaching/uncertainty 0

Are you uncertain?

This is a question we asked many times last Saturday when the Uncertainty Show was given for the first time.

The show relies on people coming up on stage trying to be uncertain.

They compete against a computer, theory or others.

A lot of people tried our computer games about uncertainty.

Ivette, Maria, Ullrika and Rasmus – happy after making so many people uncertain.

Uncategorized 0

Open PhD position in decision theory and environmental management

The research Group Uncertainty and Evidence Lab at the Centre of Environmental and Climate Research are looking for a suitable candidate for a new PhD position.

The aim of the PhD project will to study the importance of uncertainty in environmental management. This includes the treatment of uncertainty into scientific assessments and considering in what way decision makers respond to uncertainty. The impact of uncertainty will be studied by ecological-economic modelling focusing in solving environmental decision problems. The project includes a case-study on geese management in agricultural landscapes, representing a spatial-temporal ecological-economic system with several and different types of agents, both human (farmers) as well as ecological agents (geese).

Read more here about the position and how to apply.

Last day to apply is October 1st 2018.

Uncategorized 0