Incongruenze dati ISTAT

Allora, apro qua così vediamo se si riesce a trovare una spiegazione.
Il problema principale è che sembra esserci una discrepanza tra i dati riportati da wiki (ma non solo, anche dall'Istat stesso in alcune sezioni, ad esempio qua si leggono i decessi 2017 www.istat.it/it/files//2018/12/Pillole-ASI-_2018.pdf che coincidono quelli wiki) e i dati ricavati dai fogli di calcolo scaricabili dal sito dell'ISTAT. Li riporto per semplicità:

Wiki/altre fonti (come articoli di giornale etc etc)

2015 647.571
2016 615.261
2017 649.061
2018 633.133
2019 634.432

Fogli istat (dataset con la media 2015-2019 e foglio con i decessi giornalieri per singolo comune)

2015 656.196
2016 627.071
2017 659.473
2018 640.843
2019 644.515

Ora, come ho detto io ho fatto un veloce controllo con i dati del foglio di calcolo quello semplice, cioè media 2015-2019+2020, e al 31 agosto i dati che ho ottenuto sono in linea con quelli sotto piuttosto che con quelli ridotti sopra. Stessa cosa con il foglio della toscana.
I casi sono due:
1. O abbiamo sbagliato in diversi
2. Oppure i dati che l'ISTAT ci fa scaricare sono diversi da quelli comunicati altrove.

Sarebbe interessante capire che cazzo sta succedendo, appena si riattiva il contact centre dell'ISTAT provo a chiedere anche a loro.
Certo, c'è la possibilità che linea72 abbia sbagliato, io abbia sbagliato perchè in parte ho confrontato col suo foglio, e che tutto a catena sia stato viziato da un errore, ma se non sbaglio anche altri postarono immagini e/o commenti sui decessi complessivi, e non mi era parso fino ad oggi di notare incongruenze. :question:

Ah, ultima aggiunta. Cercando velocemente sul web riferimenti al numero totale di decessi degli anni scorsi ho trovato solo conferme sul primo gruppo di dati (quelli di wiki per intenderci), a parte questo:
www.tgcom24.mediaset.it/cronaca/istat-bl...621126-202002a.shtml
Qui Blangiardo dice 2019=647.000, che è più vicino ai dati di linea72, piuttosto che ai dati di wiki

Ma i dati del file excel, quelli con la media decessi 2015-2019, se sono dati medi di 5 anni, come fai a dire che singolarmente sballano?

La questione del 2019, sono loro dell'Istat che a gennaio 2020 hanno ufficializzato 647.000, poi d'estate hanno modificato in 634.000 e Demo ISTAT ha fatto lo stesso.

Non lo dico infatti.
E' quello che non mi torna. I dati del 2020 sono temporanei, specie quelli degli ultimi mesi, ad esempio quelli di inizio sono già praticamente definitivi.
Ma quelli degli altri anni dovrebbero essere consolidati, a maggior ragione che mi fornisci la media.
Se però io faccio la media con il foglio quello grosso, dal 1 gennaio al 31 agosto, per il 2015-2019, ottengono valori prossimi alla media fornita dal foglio ISTAT.
Tradotto, i dati dai quali l'ISTAT ha calcolato i valori medi 2015-2019 non sembrano essere quelli di wiki, ma quelli di linea72 (e altri).

La questione del 2019, sono loro dell'Istat che a gennaio 2020 hanno ufficializzato 647.000, poi d'estate hanno modificato in 634.000 e Demo ISTAT ha fatto lo stesso.

D'estate? Quindi la pagina wiki fino a maggio riportava dati diversi? E perchè c'è discrepanza anche con gli anni prima quando eventualmente quest'estate avrebbero dovuto correggere solo i dati relativi al 2019?
Sembra quasi che tutti i fogli di calcolo sui quali lavoriamo non solo non siano aggiornati con la dichiarazione per il 2019 (da 647.000 a 634.000) ma nemmeno con gli anni precedenti.

I dati del 2020 sono temporanei, specie quelli degli ultimi mesi, ad esempio quelli di inizio sono già praticamente definitivi.

Io invece ho visto che hanno già corretto un paio di volte in su, anche i primi mesi dell'anno, ad ogni uscita del nuovo file excel, i morti si sono incrementati. Ho salvato tutti i file, si può controllare di quanto.

Guarda qua l'anno decessi 2019, ho salvato i dati i aprile 2020, confrontali con quelli di demo istat oggi
[img ][/img]

[img ][/img]

Demo ISTAT decessi del 2019, file di aprile, decessi 590.449, senza il mese di dicembre 2019
Demo ISTAT decessi del 2019, di oggi 17 dic 2020, decessi 580.779, senza il mese di dicembre 2019

Molto strani i mesi di giugno e luglio, praticamente con gli stessi morti, 50.963 e 50.964

Inoltre dove posto la situazione della Germania e della Svezia?
Così mettiamo fine a tutte le cazzate vomitate dal mainstream, come Germania al collasso, Svezia più morti di tutti etc. etc. etc.

Se volete che faccia da terzo controllo lo faccio.
Basta che mi dite se ho capito bene cosa devo fare.

Allora devo scaricare il dataset comune per comune.
E poi aggrego i dati sulla base provinciale / regionale.
Poi in ultima istanza faccio la somma anno per anno.
Corretto?

Qualcuno ha capito cosa intendeva kamiokande?
Parlava di un qualcosa per semplificare..

Senna io direi che se intendi fare una disamina complessiva dei dati sulla.mortalità, forse è meglio inserire nell altra discussione sui decessi.
Se invece hai trovato incongruenze sui dati ufficiali allora puoi inserire anche qui.

Ma senti anche gli altri.

Confermo che i dati ISTAT dei decessi che si trovano sul sito

dati.istat.it/Index.aspx?DataSetCode=DCIS_POPRES1#

sono:
2015 647571
2016 615261
2017 649061
2018 633133

Il 2019 non è disponibile. Confermo inoltre che questi dati sono riferiti a tutti i decessi avvenuti in Italia, senza distinzione di nazionalità.

Confermo inoltre che i dati nel file per comune sono:
2015 656196
2016 627071
2017 659473
2018 640843
2019 644515

L'unico motivo per la discrepanza a cui posso pensare riguarda l'eventuale iscrizione all'anagrafe: i primi dati sono presi dalla cancellazione dall'anagrafe causa decesso, i secondi potrebbero essere un conteggio complessivo degli iscritti più i non iscritti all'anagrafe (considerando quindi anche gli irregolari).

Qui si parlava del fatto che i decessi del 2019 fossero stati modificati, da 647.000 a 634.000 o no?

Ma come fanno oggi nel 2020, a modificare dei dati del 2015?
Saranno sbagliati i dati contenuti nel file per comune.

@senna
la svezia ha un sito che fa proprio al caso tuo:
www.scb.se/en/finding-statistics/statist...pulation-statistics/

Summary of Population Statistics 1960–2019:
www.scb.se/en/finding-statistics/statist...pulation-statistics/

Morti anno 2020*:
www.scb.se/en/finding-statistics/statist...tatistics-on-deaths/

puoi anche scaricare gli excel dal sito.

*Allora per la Svezia ecco il calcolo dei morti totali negli ultimi 5 anni dal 01 Gennaio al 30 Novembre:

2015 -> 82.125
2016 -> 80.743
2017 -> 81.673
2018 -> 81.861
2019 -> 78.445
2020 -> 85.358

Tralaltro nel link c'è il grafico col picco 2020 vs 2015-19 molto simile a quello dell'ISTAT. Il fatto che paragoni un singolo anno con la media di 4 anni fa sembrare il picco del 2020 molto drammatico ma in realtà presi gli anni singolarmente si vede che la variazione è molto meno drammatica! Per esempio il confronto 2015 vs 2020 è solo di 3000 morti! Penso che questi dati abbiano aiutato di molto la Svezia a decidere di vivere normalmente.

Già fatto da tempo e già postato più volte in commenti liberi, anche oggi.
Lo stesso sito ce l'ha anche la Germania, con in più anche l'occupazione della terapia intensiva da marzo ad oggi.

Senna ha scritto: Già fatto da tempo e già postato più volte in commenti liberi, anche oggi.
Lo stesso sito ce l'ha anche la Germania, con in più anche l'occupazione della terapia intensiva da marzo ad oggi.

Scusami, avevo letto dove trovo invece hai scritto dove posto. Per me va bene qui, magari cambiamo il nome al thread se possibile. Possiamo chiamarlo tipo morti di tutte le cause nei vari paesi anno 2020. Decide Pandroid ovviamente.

Questa è la situzione attuale in Svezia:

2002 decessi 95.009 - popolazione 8.909.000 - tasso di mortalità dello 1,066%
(il 2002 è l'anno con i maggiori decessi in Svezia negli ultimi 20 anni)
2015 decessi 90.907 - popolazione 9.851.017 - tasso di mortalità dello 0,922%
2016 decessi 90.982 - popolazione 9.995.153 - tasso di mortalità dello 0,910%
2017 decessi 91.972 - popolazione 10.120.242 - tasso di mortalità dello 0,908%
2018 decessi 92.185 - popolazione 10.230.185 - tasso di mortalità dello 0,901%
2019 decessi 88.766 - popolazione 10.327.589 - tasso di mortalità dello 0,859%
2020 ca. decessi 95.000 - popolazione 10.377.781 - tasso di mortalità dello 0,915%
(ottobre 2020)

Nel tuo conto non hai messo, "Okänd dödsdag", "Giorno della morte sconosciuto"

Ho fatto un controllo dei nostri dati e fino al 31 Agosto collimano con quelli riportati dal rapporto Istat pubbliicato.

Rapporto 31 agosto

La prima è una tabella che ho costruito io sui nostri dataset.
La seconda e la terza invece derivano dal rapporti istat pubblicato il 22 ottobre.



Quindi se collimano numero dei decessi 2020 e percentuale di variazione significa che non abbiamo commesso nessuno errore di calcolo.

Messaggio per Senna:
Ciao, ti ho inviato il file Istat raggruppato per mese.
Il file originale, quello giorno per giorno da 230 MB e se vuoi l'unica soluzione per spedirlo è farlo tramite wetransfer. Ma è semplicemente quello scaricato dal sito Istat, quindi forse è persino più semplice scaricarlo da lì.
E' difficilmente trattabile perché contiene 2 milioni e mezzo di righe e quindi non se ne parla nemmeno di poter usare Excel allo scopo (il massimo per Excel è un milione di righe).
Io ho usato Access che ha il limite a 2GB, altrimenti si potrebbe usare Gnumeric che ha il suo limite a 16 milioni di righe.

@ Linea72 e Senna
Se volete io ho un piccolo script python per estrarre i dati. Al momento estrae solo il totale per regione per i diversi anni, ma può essere facilmente modificato per ottenere anche altri dati alla bisogna.

@kamiokande
Grazie, io con Access sono stato in grado di gestirlo, comunque grazie per la cortesia

L'unico motivo per la discrepanza a cui posso pensare riguarda l'eventuale iscrizione all'anagrafe: i primi dati sono presi dalla cancellazione dall'anagrafe causa decesso, i secondi potrebbero essere un conteggio complessivo degli iscritti più i non iscritti all'anagrafe (considerando quindi anche gli irregolari).

Kamiokande mi hai detto una cosa che mi fa riflettere. Magari sbaglio, ma è possibile che nei dati di mortalità dati in fretta e furia all'istat nel 2020 ci siano entrati anche i cancellati dall'anagrafe per altre ragioni?
Non è possibile che il dato provvisorio grezzo sia comprensivo di errori di quel tipo e che poi vengano successivamente corretti?
Perchè se cosi fosse abbiamo scoperto come si può gonfiare i dati senza che ci sia "dolo".

Andando a vedere sul sito del demo-istat ho trovato che il bilancio iscritti-cancellati pende decisamente verso i cancellati nell ordine di 87 000 individui.
Così si capisce anche la continua correzione al ribasso effettuata sul 2019. Magari hanno trovato 14 000 che non erano deceduti ma solo cancellati?



demo istat

Scusami, avevo letto dove trovo invece hai scritto dove posto. Per me va bene qui, magari cambiamo il nome al thread se possibile. Possiamo chiamarlo tipo morti di tutte le cause nei vari paesi anno 2020. Decide Pandroid ovviamente.

Sono d'accordo. Teniamo questa discussione per la mortalità totale 2020 vs altri anni nei vari paesi, in modo da non disperdere il tutto.

Quindi se collimano numero dei decessi 2020 e percentuale di variazione significa che non abbiamo commesso nessuno errore di calcolo.

Capito? Che errore abbiamo fatto, uno che lascia corretto il 2020 ma sbaglia gli altri anni?
Molto strano.
E quindi l'ISTAT va a sbagliare i dati degli anni addietro? Hmm.
Io attualmente non ho tempo di rimettermici perchè sto concludendo un articolo che parla anche di questo. Ho deciso però di ignorare questa eventuale incongruenza, anche perchè non è così decisiva ai fini del concetto di fondo (covid vs flu).
Se qualcuno ha voglia di rivederli, sempre bene, altrimenti possiamo intanto aspettare se riesco a contattare e a farmi rispondere dall'ISTAT stesso.

Così si capisce anche la continua correzione al ribasso effettuata sul 2019

La correzione al ribasso però c'è anche per gli anni precedenti, fino al 2015. E se l'errore è così palese per tutti gli anni chi ci dice che non siano sbagliati anche i dati 2020?
Da qualche parte sul sito ISTAT ho letto che i dati di un anno vengono ufficializzati a metà anno successivo, quindi avrebbe senso che a Giugno avessero corretto definitivamente il 2019.
Non il 2018, tantomeno il 2015

magari cambiamo il nome al thread se possibile

Non so come si fa :hammer:

Ho provato con la mail per le "emergenze", vediamo.

Scusate ma secondo me state facendo un po' di casino con questo thread. Anche io che ho seguito la vicenda dall'inizio ho fatto un po' fatica a capire quale fosse il problema.

Allora, per "dati ufficiali" Istat dei decessi dobbiamo considerare quelli che si trovano qui , e sono in effetti quelli della prima serie di valori riportata nel primo commento di Pandroid:

2015 647.571
2016 615.261
2017 649.061
2018 633.133

Solo che il 2019 non è ancora disponibile, quindi non vedo come potessero avere divulgato il dato già a gennaio, come sostiene qualcuno. Anche adesso, che hanno accelerato parecchio il processo, non passano meno di due mesi perchè ci sia la divulgazione dei dati, che comunque restano ancora provvisori, almeno per quanto riguarda i mesi più recenti.

Quelli che invece si trovano qui sono mallopponi di dati grezzi, e come si legge nella premessa sono suscettibili di aggiustamenti anche a distanza di anni:

Per gli anni 2015-2019, è possibile che siano presenti differenze con i dati mensili dei decessi comunali già diffusi con le statistiche relative al bilancio annuale della popolazione residente. Tali differenze sono dovute al riferimento temporale considerato per la costruzione della base dati giornaliera dei decessi, data di evento e non data di cancellazione anagrafica, e all’utilizzo integrato dei dati provenienti dall’Anagrafe Tributaria che consente un recupero di eventi anche a distanza di anni.

Non so se ciò possa spiegare interamente lo scostamento dell'1%-2% fra le due serie di dati*, ma sta di fatto che l'Istat prende come dato ufficiale quello qui sopra (e non l'altro che si ricava dai dati grezzi) da molto prima che iniziasse la faccenda del Covid, quindi non vedo che legame ci possa essere fra le due cose.

*Confermo che scaricando i super-file excel risulta:

2015 656.196
2016 627.071
2017 659.473
2018 640.843
2019 644.515

Non servono programmi ad hoc, basta usare lo strumento "crea tabella pivot" per ridurre ognuno dei quattro file giganteschi a una tabella del genere:



e poi fare la somma dei totali delle quattro macroaree.

Grazie FranZη per l'intervento molto chiaro e preciso.
Quello che non ho capito è: ma allora i dati Istat "ufficiali", da cosa sono ricavati?
Non è quindi un riepilogo dei dati grezzi da loro stessi messi a disposizione?
Per quanto riguarda il trattamento del super file, io ho seguito questo iter di trattazione:
- scaricamento del mega file unico (230 MB)
- importazione del file in Access
- raggruppamento dei dati per mese ed esportazione in Excel del file così ridotto
- lavorazione in Excel con tabelle pivot per estrarre dati per regione, per periodo, etc.
Una curiosità: sei un matematico o un fisico?

Qualcuno riesce mica a postare il grafico del picco 2020 vs 2015-2019 italiano ISTAT e quello svedese (dal link #3 -> Tabell 1 che ho postato prima) uno di fianco all'altro?

Io ho sostenuto e lo faccio da mesi che l'Istat sul loro sito hanno dichiarato e scritto ad inizio 2020 che il numero decessi per il 2019 fosse 647.000 morti che è quello che il nr 1 dell'Istat ha detto anche due giorni fa. Ma L'Istat stessa, quest'estate ha invece parlato di 634.000 decessi, non l'ho fatto io, difatti trovi diversi articoli e siti che per l'hanno 2019 parlano di 634.000 morti.
Quindi se qualcuno ha fatto casino o ancora lo sta facendo, questa é l'Istat.

Leggetevi Il report 2019 dell'istat del 11 febbraio 2020 e troverete che l'Istat dichiara 647.000 decessi per l'anno 2019. Se l'Istat lo dichiara é logico che poi tutti diffondano quei dati che però d'estate sono cambiati in 634.000

linea72 ha scritto: Quello che non ho capito è: ma allora i dati Istat "ufficiali", da cosa sono ricavati?
Non è quindi un riepilogo dei dati grezzi da loro stessi messi a disposizione?

Bisognerebbe chiedere direttamente all'Istat. Secondo me la differenza fra le due basi dati è che in quella dei dati grezzi, chiamiamola provvisoria, ci sono anche i dati dell'anagrafe tributaria fornita dal ministero delle finanze. A questo proposito diciamo che c'è comunque la possibilità che chi risulta morto per il fisco giri ancora allegramente per le vie del mondo, chi risulta morto per l'anagrafe è già più difficile...

Io penso che per anticipare i dati più recenti abbiano fatto questa integrazione coi dati dell'analisi tributaria, sapendo che comporta una sovrastima nell'ordine dell'1-2%, sovrastima che però serve a correggere la sottostima dovuta al ritardo nella segnalazione di alcuni decessi. Per gli anni passati invece non c'è bisogno di questa correzione perchè i numeri che provengono dalle anagrafi sono ormai consolidati. Questa chiaramente è solo un'opinione personale, resta comunque il fatto che vista l'esiguità della differenza non cambierebbe quasi niente nelle statistiche sull'eccesso di mortalità delle ondate Covid, non avrebbe senso incasinare tabelle con milioni di righe solo per tirare fuori un 2% scarso di mortalità in più.

Una curiosità: sei un matematico o un fisico?

Matematico.

Senna ha scritto: Leggetevi Il report 2019 dell'istat del 11 febbraio 2020 e troverete che l'Istat dichiara 647.000 decessi per l'anno 2019. Se l'Istat lo dichiara é logico che poi tutti diffondano quei dati che però d'estate sono cambiati in 634.000

Va bene, il link lo metto io che sennò era troppa fatica:
www.istat.it/it/files//2020/02/Indicatori-demografici_2019.pdf
Nella nota metodologica si legge:

Lo scopo è ottenere, in primo luogo, la previsione dell’ammontare della popolazione residente al 31 dicembre dell’anno di riferimento, contando su un’osservazione delle componenti annuali di bilancio demografico che al momento della stima risulta soltanto parziale. In particolare, è necessario produrre stime in valore assoluto su nascite, decessi, iscrizioni e cancellazioni anagrafiche per trasferimento di residenza, in modo da poter calcolare la popolazione di fine anno partendo da quella osservata al 1° gennaio.

Nel momento in cui prende avvio il processo di elaborazione dei dati, normalmente negli ultimi due mesi dell’anno cui i dati si riferiscono, l’Istat dispone dell’osservazione dei bilanci demografici comunali relativi a primi 7-8 mesi dell’anno, grazie allarilevazione “Movimento e calcolo della popolazione residente mensile (Istat/D7.b)“. Pertanto, l’operazione di stima necessaria a consolidare le cifre su base annuale si riferisce ai secondi 4-5 mesi dell’anno.

...eccetera eccetera.