We are curious to know how good people are in being uncertain. To test this, we asked participants of the running race Lundaloppet (Lund May 4th 2019) to guess their time. When the race was over, we collected the actual times posted on the official web page to compare.
This is not about running as fast as possible, but to make a good guess. Remember, that being uncertain can actually help you to be less wrong.
Results
About 60% of you made a good guess of your running time. Blue dots denote guesses where the actual time fell inside your stated uncertainty interval.
For comparision, we asked you how many balls there are in this box.
For this question, only 30% of managed to cover the true number and the there was a large variation in the range of your stated uncertainty.
We are now using this material to develop ways to test expert’s ability to be uncertain. Thank you for your cooperation. We have selected three winners of a book about uncertainty.
Contact Ullrika ullrika.sahlin [at] cec.lu.se if you want to know more.
Resultat från gissningsutmaningen finns på den engelska versionen (English version) av denna sida.
Vi är nyfikna på hur bra människor är på att vara osäkra. För att testa detta frågar vi deltagare i Lundaloppet (4 maj 2019) att gissa deras löptid. När tävlingen är över kommer vi samla in de tider som publiceras på Lundaloppets hemsida och jämföra.
Vi bryr oss inte om vem som har sprungit snabbast, utan vem som gör bra gissningar. Kom ihåg – att vara osäker kan faktiskt hjälpa dig att göra färre fel.
Kontakta Ullrika ullrika.sahlin [at] cec.lu.se om du vill veta mer.
Bayes@Lund 2019 – a Mini-conference on Bayesian Methods at Lund University, 7th of May, 2019
You are welcome to participate in the sixth edition of Bayes@Lund! The purpose of this conference is to bring together researchers and professionals working with or interested in Bayesian methods.
The conference will take place at Lund University, Sweden on the 7th of May 2019 starting at 9.00 and ending at 17.00. It will include contributed talks and invited presentations. This year we are more than pleased to have two invited speakers:
Maggie Lieu, astrophysics research fellow working at the European Space Agency, who will talk about Hierarchical models and their applications in astronomy; how hierarchical models can be a powerful tool for inference.
Robert Grant, a medical statistician, turned freelance trainer, coach and writer in Bayesian models and data visualisation. His talk Visualisation for refining and communicating Bayesian analyses will review relevant general principles of effective visualisation, recent work on Bayesian workflow, and the role of interactive graphics.
On February 21-22nd 2019 we, the research group Uncertainty and Evidence Lab, attended the International Conference on Uncertainty in Risk Analysis jointly organised by BfR and EFSA. It was special with a conference focussing on uncertainty as opposed to treatment of risk or on applications.
Ullrika and Scott Ferson had a workshop the day before the conference.
It is possible to view talks from the conference on Youtube. Ullrika’s talk is on Youtube.
On Feb 6th Ullrika Sahlin and Scott Ferson debated two alternative ways to quantify epistemic uncertainty in scientific assessments – precise and bounded probability. In simple terms, subjective precise probability is the measure for epistemic uncertainty in classical Bayesian inference, while subjective bounded (imprecise, approximative) probability is a measure for epistemic uncertainty in a generalisation of Bayesian infernce allowing for sets of probabilities. The generalisation of Bayesian inference is sometimes called Robust Bayesian inference. Bounds on probability can be derived in other ways as well.
Professor Scott Ferson have a lot of experience in using precise and bounded probability. He is also a well known workshopier.
Photo. Caroline Morais
Scott and Ullrika had a discussion/battle for students at the Institute for Risk and Uncertainty Centre for Doctoral Training – University of Liverpool. The quantification of epistemic uncertainty by precise or bounded probability was approached by challenge problems. Solutions to these will be published in due time.
As the writer of this post, I, Ullrika, give my view on this. I think that precise probability is sometimes disregarded as a measure for epistemic uncertainty for wrong reasons or could be done better. I am often unsure of how the quantification of bounded probability is done in assessments. Propagation of bounded probability is sometimes faster than a 2-dimensional Monte Carlo simulation (separating aleatory and epistemic uncertainty), and provide conservative ouptut which can be used in a tiered risk assessment.
With a background in Bayesian inference, I am open for embrasing the bounded probability as a measure for epistemic uncertainty, which can be useful in situations when the assessors judge precise probability as not enough to fully characterise epistemic uncertainty. By comparing these two measures for epistemic uncertainty we can strenghten the understanding of them and in a longer perspective the quantification of uncertainty in scientific assessments.
Ullrika gave an snapshot of recent debates around the developments of management of uncertainty and evidence with a focus on scientific assessments. What standards for management of uncertainty are asked for today and in the future?
Risk analysis is a field which for a long time has been focusing on managing uncertainty. There are not only many sources to uncertainty, but also different types of uncertainty and ways to characterise them. Principles for risk analysis are useful for scientific assessments in general, especially when there is an aim to evaluate the impact of uncertainty due to lack of knowledge on the conclusions of an assessment. It can be to rely on empirical evidence as well as expert knowledge and data generated by models. Lately, the strengths in underlying evidence has become part of the characterisation of uncertainty. Managing uncertainty and evidence according to standards requires resources and experts on uncertainty. Who will provide these resources and where do these experts come from?
Bayes@Lund 2019 – a Mini-conference on Bayesian Methods at Lund University, 7th of May, 2019
You are welcome to participate in the sixth edition of Bayes@Lund! The purpose of this conference is to bring together researchers and professionals working with or interested in Bayesian methods. Bayes@Lund aims at being accessible to researchers with little experience of Bayesian methods while still being relevant to experienced practitioners. The focus is on how Bayesian methods are used in research and in the industry, what advantages Bayesian methods have over classical alternatives, and how the use and teaching of Bayesian methods can be encouraged. (see last year’s conference for what to expect).
The conference will take place at Lund University, Sweden on the 7th of May 2019 starting at 9.00 and ending at 17.00. It will include contributed talks and invited presentations. This year we are more than pleased to have Sharon Bertsch McGrayne as an invited speaker. She is the author of the The Theory That Would Not Die, the bestselling book that describes the rise and fall and rise again of Bayesian statistics.
We invite you to submit a talk or short tutorial to Bayes@Lund 2019 on a topic related to Bayesian methods in research as well as in a non-academic context, including, but not restricted to:
·Case studies. Have you used Bayesian methods in your work? Describe what you did, and how it worked out.
·Method development. Are you developing novel Bayesian methods or software that you want to share?
·Teaching Bayes. Do you have experiences teaching or introducing Bayesian methods? What were the challenges, and do you have any useful tips?
Each accepted speaker is given 20 minutes and, as the audience will be highly heterogeneous from different disciplines and from within and outside academia, the talk is expected to be accessible and engaging for a multidisciplinary audience.
Alternatively, short tutorials are 10/20/30 minutes long tutorials where you introduce the audience to a tool, package or methodology you find useful. It doesn’t need to be something you’ve developed, just something you want to show the audience!
For more information on how to submit a talk proposal please see here.
We hope to see you there!
All best, The committee Ullrika Sahlin, Rasmus Bååth, Alex Holmes, and Jakob Lavröd
Societal trust and confidence in scientific assessments are influenced by uncertainty. A key feature of scientific assessments is therefore the treatment of uncertainty.
On January 24th 2019 the Uncertainty and Evidence Lab was involved in a workshop with the aim to introduce uncertainty and some methods to treat uncertainty in scientific assessments. The workshop was held at Durban Techincal University, South Africa. It was facilitated by Ullrika Sahlin, Lund University, and Dr Gordon O’Brien, the University of Mpumalanga. The focus was on quantitative methods to treat uncertainty in models, illustrated by findings related to the communication of uncertainty. Case-studies were taken from environmental sciences.
The workshop was attended by researchers from different disciplines.
The Uncertainty and Evidence Lab was today hosted by PhD student Johanna Haussler who gave a talk on Networks on networks: modelling complex food webs on spatial networks
Biotic networks are rarely considered within a spatial context, this applies particularly to complex multitrophic communities, i.e. food webs. In my talk, I will present a novel modelling approach me and my colleagues developed, in which we applied the meta-community framework to complex food webs to understand the interplay between local feeding dynamics and species-specific dispersal dynamics at the landscape scale. Using our model, we explore how direct and indirect interactions between species in complex food webs together with spatial processes that connect sub-populations in different habitat patches interact to produce species diversity patterns in increasingly fragmented landscapes and how this interplay might modify the outcomes of fragmentation effects on biodiversity.
Three postdocs and a professor joined in and contributed to the discussion.
Afterwards we discussed the use of NetLogo and practiced presentations for the forthcoming Nordic Chapter Conference in Norway.
Detta är en fråga som jag ställde på Dalby bibliotek som en del i Lunds universitets forskarturné hösten 2018. De drygt 20 åskådarna fick utstå att gissa, uttrycka deras osäkerhet och testa huruvida de har övertro i sina gissningar. Syftet med dessa övningar var att illustrera olika typer av osäkerhet och olika sätt att beskriva dem.
Jag tog upp att det är viktigt att vara osäker eftersom beslutsfattare och allmänhet ska ha möjlighet att fatta beslut på den kunskap vi har. Får de inte reda på att det finns osäkerhet kan det leda till att de ha för låg eller för hög tilltro till vad experter säger. Kännedom om rådande osäkerhet kan leda till att beslut blir bättre än vad annars hade varit fallet. Det finns nästan alltid osäkerhet. Därför är det viktigt att fundera över vilken betydelse osäkerhet har på vad vi borde göra i svåra samhällsfrågor såväl som i vardagliga problem.
Osäkerhet förknippas med något negativt. Som expert vill du inte vara osäker – du vill vara säker. Jag tycker att det undervisas för lite om osäkerhet i skola och universitet. Nästan alla lär sig om statistik, men det är långt ifrån tillräckligt för att kunna hantera osäkerhet i exempelvis vetenskapliga bedömningar. Många är osäkra på vad osäkerhet är och har inte en vana att prata om osäkerhet.
Jag, och flera med mig världen över, föreslår att göra osäkerhet till något som vi förknippar med något positivt. Vi vill reclaima osäkerhet. Genom att uttrycka din osäkerhet har du faktiskt gett beslutsfattare en chans att väga in fler möjliga konsekvenser och du visar också styrka i att erkänna vilka brister som finns och ger kanske till och med förslag på hur man kan minska osäkerhet. Det är ärligt. Ärlighet är att föredra framför att visa upp en fasad med tydliga svar (som kanske visar sig vara fel).
Under föredraget delades flera osäkerhetsknappar ut till publiken som tack för deras medverkan.
Ett sätt att börja är att just prata om vad osäkerhet är och hur vi kan beskriva osäkerhet.
Tärningsosäkerhet (aleatorisk osäkerhet) är osäkerhet som beror på slump. Man kan exempelvis använda frekvenser för att beskriva tärningsosäkerhet. I 1 av 6 utfall förväntas det bli en tvåa.
Kunskapsosäkerhet (epistemisk osäkerhet) är osäkerhet som beror på att vi saknar fullständig kunskap. Om jag kastar tärningen och ser utfallet men min kompis inte ser utfallet så har vi olika kunskap. För min del är jag säker på vad utfallet blev, medan min kompis är osäker. Kunskapsosäkerhet är sålunda personlig. Det är någon person som är osäker. Det finns inte ett sant värde på kunskapsosäkerhet. Hur osäkra vi är beror på den kunskap vi har tillgänglig just då.
Man kan använda personliga sannolikheter för att beskriva kunskapsosäkerhet. Vi säger personlig eftersom det är den tolkning vi i detta fall har för sannolikhet. Sannolikhet är i så fall hur mycket personen är beredd att satsa på möjliga värden eller utfall. Personliga sannolikheter kan användas för att uttrycka hur troligt man tror att olika värden på parametrar eller möjliga konsekvenser kan vara. Enstaka händelser beskrivs med sannolikheten att de inträffar eller hur lång tid det tar tills de inträffar. Möjliga värden kan beskrivas med sannolikhets-intervall eller sannolikhetsfördelningar. Sannolikhets-fördelningar kan man lätt kombinera med andra sannolikhets-fördelningar och vips har man en modell som man kan simulera från.
På senare tid har det även blivit vanligt att värdera kunskapsosäkerhet genom att bedöma hur bra kunskapsunderlag man har för att svara på en viss fråga. Ett begrepp som används för detta är konfidens. Konfidens kan mätas på olika sätt. Ett sätt att mäta konfidens är med sannolikhet – och nu börjar det bli krångligt om vi redan har sannolikhet för att beskriva möjliga värden eller konsekvenser. Forskare föreslår därför att låta konfidens värderas på en kvalitativ skala där man använder ord istället för siffror. Detta för att skilja dem åt.
Graden av konfidens påverkar hur man väljer att kommunicera de resultat man har. Har man gjort en bedömning med hög konfidens kan man säga att med säkerhet så vet vi att detta och detta kan hända. Om det däremot är så att konfidens anses låg så säger man att det kan vara så här – men det behövs fler studier på det och det för att få bättre kunskapsunderlag.
Hur stor tilltro (konfidens) man har till resultat i en vetenskapliga bedömning beror på om kunskapsunderlaget kan liknas vid ett städat eller ett stökigt rum.
Väderprognoser ges med en bedömning av konfidens. Dagen före var prognosen att det troligtvis skulle regna men det var en osäker prognos. En timme före var SMHI ganska säkra på att det skulle vara soligt. Här är ett exempel där det finns en sannolikhet för olika utfall (väder) som mäts i % och en bedömning av konfidens i prognosen som beskrivs med ord (osäker eller ganska säker).
Osäkerhet kan vara rätt så kul att tänka på när man pratar om att hantera osäkerhet i vetenskapliga bedömningar, i riskanalys eller när man ska fatta beslut. I verkligheten kan det vara väldigt annorlunda. Tiden mellan en katastrof och du får reda på hur det har gått för dina nära och kära är behäftad med stor osäkerhet som skapar en oerhörd press och obehag. Jag vill inte på något sätt förringa det negativa osäkerhet för med sig.
Miljöproblem och osäkerhet hänger ihop. Min forskning går ut på att förtydliga och stärka detta samband. På vägen försöker vi skapa en förändrad syn på osäkerhet till något som inte ska gömmas undan – utan som man försöker hantera på bästa möjliga sätt. Det kan innebära att vi behöver utbildas i både analys och kommunikation av osäkerhet.
Ett sätt att börja är att skapa mer tillfällen för undervisning om osäkerhet och visa på begrepp och metoder som det finns att välja – för – det finns inte en metod som funkar för all form av osäkerhet. Dels finns det olika typer av osäkerhet och problem kan vara väldigt olika med avseende på hur starkt kunskapsunderlag som finns, hur allvarligt problemet är och hur bråttom man har att lösa det.
Comments