M’avisen que a IB3 Ràdio ahir explicaren malament la feina que hem fet al Govern amb dades obertes. Baixo l’hora de programa, arribo a l’espai de tecnologia i penso que dir-ne “explicat malament” és un eufemisme per no dir ‘menteixen’.
L’experta responsable de l’espai radiofònic, Tona Pou, diu que “s’ho ha estudiat un poc”. Si és així, aleshores només pot haver-hi la intenció d’enganyar i fer mal. Tot i això recordo la navalla d’Occam i penso que potser és incompetència. Mediocritat no ho és pas, perquè els mediocres tenen l’avantatge de no cometre errors, i mentir sempre és un error.
Tant si és un engany com incompetència, penso que puc aclarir-ho aquí sense donar feina a ningú més que a mi mateix.
Ve de lluny
El primer cop vaig intentar aclarir-ho aquí mateix, al blog, i va passar que després la premsa deia que “Villoslada ahonda en el malestar entre el sector tecnológico y el Govern”. A continuació la patronal demanava una reunió al Vicepresident, en Biel Barceló.
Després de la reunió, la premsa deia que hi havien demanat la meva dimissió. Jo hi era, seguríssim, i no ho vaig sentir pas. Potser va ser en un altre moment.
És igual.
El que sí que vaig sentir causava prou perplexitat. Per exemple, perquè varen dir que fèiem riure perquè no podríem posar tanta fibra, però a la reunió ens preguntaren que per a què tanta fibra en comptes de més administració digital –una cosa que, per cert, també fèiem i amb tanta intensitat com la d’aconseguir fibra; érem multitasca.
Però no és el moment d’entrar en detalls d’una reunió institucional carregada de WTF. Tanmateix, us serà fàcil fer una regla de tres amb què a continuació sí que aclariré, i que té el mateix estil perquè arriba del mateix lloc.
Dades obertes
L’espai de tecnologia digital d’IB3 Ràdio de dilluns 9 de desembre de 2019, devers les 11:45h, estava dedicat a les dades obertes.
Aquí teniu el tall de veu. Faig la transcripció d’una part per si no podeu sentir àudio:
Després hi ha una sèrie de dades, que tot i ser públiques, poden no ser tant accessibles, com són totes ses dades pressupostàries, totes ses dades en què se gasten ets doblers respecte els pressuposts que hi ha a una banda o a una altra. Vull dir aquí, a Balears, hi ha una llei de transparència amb lo qual te publiquen un PDF dient ses dades que s’han gastat. Aquestes dades són públiques, són accessibles però no són reutilitzables, val? Un PDF no serveix per tu gestionar les dades. S’Excel en començaríem a xerrar, val? Llavonses aquest és, aquest és un altre cas. Ses dades malgrat siguin públiques perquè siguin obertes què han de tenir? Quins requisits tècnics tecnològics han de tenir?
Tona Pou, IB3 Ràdio, 09-12-2019
A continuació, el convidat expert –que m’imagino tant venut com l’advocat d’un psicòpata– li dóna la raó perquè és així; les dades obertes han de ser reutilitzables de forma automàtica. La Pou diu que clar que té raó, perquè “jo m’ho he estodiat un poc”.
La realitat és que podeu trobar els contractes del Govern als ‘dataset’ de la Direcció General de Transparència.
Hi veieu cap PDF?
No n’hi ha.
A la pipella d’exportació hi podeu veure CSV, JSON i Excel, però també hi ha una pestanya que hi diu API. En aquest moment és massa extens explicar si una API fa possible, o no, la reutilització automàtica que troba a faltar la gerent de la patronal de software després d’haver estudiat el cas.
Quant als ‘dataset’ sobre els doblers del Govern de les Illes, hi ha una secció dedicada a la Direcció General de Pressuposts. Tots els ‘dataset’ tenen API. Cap no té PDF.
Però hi ha més detalls relacionats amb la direcció general de pressuposts i les dades obertes. El director general de l’anterior legislatura, en Joan Carrió, fou clau a l’hora d’aconseguir una nova plataforma de dades obertes pel Govern.
Mai no em cansaré de repetir la importància que tenen les persones no informàtiques que tenen visió tecnològica, i ell la tenia. Jo volia refer la plataforma OpenData des del primer dia, però resulta que un Govern no compra les coses perquè sí, cosa que feia impossible el projecte sense que ningú no ens demanés gestionar dades obertes com toca. És lògic. En Carrió ho va fer possible.
Des del segon pressupost –perquè el primer no deixa temps per a res–, això és, des del 2016, en Carrió tenia l’objectiu de publicar el pressupost del 2017 i l’execució. Les dues coses i en temps real. Ho teniem tot: la justificació del Carrió i les meves ganes, però amb directors no basta; cal el personal tècnic necessari per a fer el contracte i per a portar el dia a dia de la plataforma un cop contractada. Per tot plegat la plataforma va arribar el 2018. Seria una OpenDataSoft.
Mentrestant no teniem la nova plataforma, en Joan Carrió va voler publicar els pressuposts amb quelcom millor que un PDF, i va contractar Civio. El trobareu a https://pressupostsillesbalears.cat.
Un cop consolidada la plataforma OpenDataSoft, l’objectiu era que el Civio s’alimentés directament de l’API. No sé si ho han aconseguit pels pressuposts del 2020, però era als plans. Qualsevol amb temps i ganes pot mirar-s’ho, perquè a Civio són molt competents i ho publiquen tot al GitHub.
Què significa tot plegat? Tenir els pressuposts i l’execució en temps real.
Reutilitzable;
i via API;
també en Excel;
sense PDF.
A pesar de la realitat, la Pou va veure PDF i no hi havia res reutilitzable. Diu que s’ho va estudiar. Mai no he aclarit què estudia quan diu que estudia.
La traca final, al seu espai d’especialista en tecnologia digital per IB3 Ràdio, és quan diu (segon tall de veu) que tot això de les dades obertes és del 2011. Torno a fer la transcripció per si no podeu sentir àudio:
Aquí sa CAIB té una pàgina web, té un minisite ben indexat. Tu cerques dades obertes a Balears, dades obertes CAIB i te surt on hi ha totes ses dades que estan obertes. Hi ha un problema, aquí va començar aquest procés Toni Manchado deu fer ja 10 anys, i se va, lo que va dir diguau-me quines dades volem que obrim perquè és un procés costós obviament, hi ha una primera sa primera fase d’aquesta, d’aquesta feina, sí que és costosa econòmicament. Després ja automàticament se van ficant ses dades allà. Normalment ses senzilles, bé, hi ha ses despeses de farmàcies, meteorològiques, es trànsit, vull dir temes que són diríem d’un interès comú de molt d’ús i que no implica dades delicades ni social ni políticament, val? Vull dir, va per ses dues bandes.
Tona Pou, IB3 Ràdio, 09-12-2019
El portal que va deixar el Manchado avui no és en línia, perquè ha quedat reemplaçat pel OpenDataSoft a partir del 2018. Afortunadament tenim el projecte Web Archive que ens permet recuperar el lloc tal com era el 25 de març de 2016. És la primera captura, a Web Archive, de la legislatura que em va tocar. Aquella data havia decidit que calia reemplaçar-lo per una plataforma moderna, amb APIs arreu per aconseguir dades reutilitzables de debò.
El web de dades obertes del 2016 té dades de pressuposts que no s’actualitzen des del 2011. Sí, estava així d’abandonat quan vaig arribar al Govern l’estiu del 2015 –del Bauzá no ens hauria d’estranyar gens.
En definitiva, segons la Pou, amb el Manchado es va fer el més car i complicat, que després era automàtic. Ara només hi ha PDF.
Tot plegat és als talls de veu. Si us cal tot el context, podeu escoltar la secció completa del 9 de desembre de 2019.
La nova plataforma de dades obertes
És veritat que el primer web amb dades obertes va començar el 2011, però no va quallar –dalt us convidava a veure el resultat capturat per Web Archive el 2016.
No hi havia gairebé activitat en dades obertes a pesar que tots els Plecs de Prescripcions Tècniques portaven una clàusula, des del febrer del 2011, demanant publicar-les. Em va semblar que no havia funcionat perquè calia repensar-ho daltabaix; des del software fins la dedicació. Ho vam fer, aconseguirem pressupost, un tècnic i un contracte públic. En acabar la meva feina –juny d’enguany– quedava molt per a fer, però el panorama era molt diferent i les expectatives també.
La plataforma OpenDataSoft del Govern (s’hi entra des de dadesobertes.caib.cat) conté 184 ‘datasets’ en el moment d’escriure això. En sortir del Govern n’hi havia 140, quantitat que era el límit del primer contracte –en realitat va ser un èxit. Vaig deixar embastat el contracte de continuació.
Tots els ‘dataset’ són reutilitzables amb la mateixa tecnologia. En essència, la plataforma té l’objectiu de trobar-ho tot a un sol lloc amb la mateixa presentació i funcionalitats; que hi hagi un mètode de reutilització automàtic comú, estable i potent. Què passa si algú, amb milions d’usuaris, de cop i volta tira de les dades obertes del Govern per a donar serveis? Pot ser una empresa GAFAM o un fabricant d’automòbils que inclogui els establiments d’hostaleria als seus navegadors. La plataforma hauria d’aguantar càrregues importants que sorgissin de cop, sense avís ni demanar permís; és el que tenen les dades obertes.
Alguns, com els datasets de turisme, s’actualitzaven automàticament mitjançant un API des de l’aplicació d’hostaleria del Govern. El motiu és que l’aplicació era nova.
També SITIBSA va crear prou ‘datasets’ automàtics, perquè la seva especialitat són dades obertes, però representades en mapes, i la nova plataforma OpenData tenia molt sentit per a ells.
El següent era aconseguir que totes les aplicacions del Govern enviessin dades automàtiques, via API, a la plataforma. No era fàcil ni immediat, perquè el Govern té gairebé 1.000 aplicacions. No totes tenen la possibilitat d’oferir dades obertes per motius de privadesa, però totes poden oferir metadades anonimitzades.
Si aquesta legislatura 2019-2023 posen en marxa el pla que tenia previst –i que vaig comunicar en partir– un grup de treball de dades obertes hauria d’aconseguir que 1) totes les aplicacions del Govern amb dades obertes les publiquin i de forma automàtica; 2) que se’n faci divulgació, formació i suport a la indústria i la societat; 3) hi hagi recerca conjunta i impuls de possibles casos d’exit; 4) que es faci difusió dels casos d’exit per a que n’hi hagi més.
Ja que hi som
Abans us deia que a partir de cert moment vaig deixar d’aclarir informació falsa per a no donar feina a l’equip amb qui treballava. A mi, repeteixo, tant em feia. He conegut més patronals i estaven encantats amb totes les idees que a casa no agradaven gens. De fet, havia anat prou bé el primer any amb l’anterior gerent de Gsbit. Mala sort –o no; de la merda també en surten flors.
Com va dir o Woody Allen o Bill Cosby, “No conec la clau de l’èxit, però la del fracàs és intentar agradar a tothom”. Podeu imaginar quant m’inquieta ara mateix, sense cap equip que molestar ni ganes de fer mai feina amb gent obtusa de la patronal illenca del Gsbit o del de l’engreix de llimacs vidus nascuts en nits de lluna plena: des de zero cap avall.
Però ja que hi som, aquí teniu un altre episodi radiofònic amb informació falsa. Si voleu el context, aquí hi trobareu el capítol complet. Al final d’aquest apunt de blog hi trobareu la transcripció.
És del 6 de maig del 2019, en plena campanya electoral. Justament per això, el moment, era especialment significatiu que la gerent de la patronal de software perpetrés falsedats tant grosses just abans de les eleccions. Esmentava contractes i en negatiu, un tema extremadament sensible que havia marcat gairebé tota la legislatura. Digueu-me mal pensat, però crec que la intenció de fer mal era clara.
Què havíem fet amb els contractes de software està escrit a les memòries publicades al portal d’Administració Digital del Govern.
A més, el 2018 estrenarem un portal específic per a desenvolupadors. La intenció era explicar-los-hi com és la tecnologia del Govern i havia de servir per aconseguir que més empreses sabessin què hi havia –era la primera passa d’un projecte més ambiciós per aquesta legislatura 2019-2023.
Mentre no teniem el portal oficial per a desenvolupadors, el 2016 varem obrir un perfil al GitHub per a publicar-hi les plataformes i les aplicacions essencials del Govern. No estava tant clar com el portal del desenvolupador, però era exhaustiu i familiar per qualsevol que treballés en software.
En definitiva:
- Portal administraciodigital.caib.cat
- Les memòries són a la columna de l’esquerra
- El nou portal per a desenviolupadors a la columna de l’esquerra
- El GitHub (també lincat al portal per a desenvolupadors)
Si la gerent de la patronal no ho havia vist a pesar de ser públic –mai no saps què veu la Pou quan mira– abans de fer cap acusació greu bastava preguntar-nos-ho. Mai no ho van fer.
També podien preguntar-ho a empreses que fan feina pel Govern. A la premsa deien que no érem útils per a ells, però la realitat és que treballàvem a diari amb empreses associades a Gsbit i la relació era excel·lent. Els representants de les empreses feien aportacions regulars al GitHub i signaven les actes que després servien per a fer les memòries.
De fet, a una reunió amb una empresa del Gsbit vaig fer sonar el tall de veu per si sabien de què venia tot plegat. En sentir això van quedar tant sorpresos com jo:
En tecnologia és un drama, vull dir en tecnología, es que en tecnologia que… jo me queix molt perquè clar, vull dir, si tu tens una infraestructura aturada, tu saps que està aturada perquè veus una pala que no se mou de devora de sa carretera, però no sabem en tecnologia quines són ses implementacions en administració pública que repercuteixen directament en sa ciutadania, i en sa nostra nivell, ja no digitalització, perquè clar sa digital que no tenim perquè tots fer servir d’allò, però és que vulguem, amb informació que hauria de ser pública, ja no sabem on hem d’anar a trescar, i en tecnologia no, no ho hem aconseguit, eh? De sa patronal. No hem aconseguit saber quins son, en quin punt se troben els concursos que han sortit i que naltros consideram que és rellevant que s’acabin, igual que és rellevant que s’acabi una carretera, un poliesportiu, un enllumenat d’una, d’un carrer, tapar un forat d’una carretera…
Tona Pou, IB3 Ràdio, 6 de maig de 2019
No és només passa que és fals que no és pública la informació dels concursos, contractes i intencions, sinó que a través del GitHub, quant a software i usant els mateixos paral·lelismes de la Pou a la ràdio, poden saber on es troba cada pedra de gravilla de qualsevol carretera; poden fer seguiment del gruix de la pintura de la pista de cada poliesportiu: saben quina és la mida i el rovell dels perns de cada fanal; poden averiguar les dimensions exactes, en mil·límetres, de cada forat a qualsevol via pública. Passa que, per a saber-ho cal tenir més competències i menys ganes de fer mal.
Imatge: Elijah O’Donnell a l’Unsplash
2 comentaris. Leave new
Crec que ha estat una mala tasca de recerca periodística el desafortunat i fals reportatge sobre dades obertes, la web dadesobertea.caib.es està prou bé, des del meu punt de vista, i és totalment interoperable. Potser el contingut coixeja, però això és una altra qüestió.
Respecte la visibilitat dels contractes, sí que és veritat que podria ser interessant tenir un seguiment, sobretot quan es fan productes que altres faran servir. Realment el github em dona la impressió que era un repositori, però sense una visió col.laborativa. Ho dic perquè vaig obrir una issue sobre la plataforma LoginIB i la resposta venien a dir que el github només era un repositori, i que ela dubtes o altres, es duien per privat.
Entenc que no és fàcil que tothom faci planificacions que es puguin publicar, però un full de ruta sí que és interessant.
Trob que s’ha fet bona feina. Sempre es poden milorar ses coses, i per a mi la veritat, les dades no em són tan útils com el fet de poder gaudir d’una connexió d’alta velocitat a un poble com Bunyola, Campos o d’altres.
Gràcies per haver-ho fet possible.
Gràcies Pere. No sé quin és el teu focus d’interès quant a dades. Si continua la progressió, amb el temps potser hi haurà les que t’interessen perquè el Govern toca moltíssims negocis diferents. Per exemple, publicar les de turisme van suposar una petita revolució, perquè són dades molt sensibles a un país com el nostre. Doncs hi són per primer cop a la història. El 2015 no estaven així de mecanitzades ni tant sols internament. La feina des de la direcció general de Turisme fou excepcional, però el començament.
En efecte, a GitHub hi falta la visió col·laborativa. No sé si vares fer la pregunta quan hi era, però en tot cas no em va arribar cap consulta sobre què s’ha de fer en aquests casos. Ho puc imaginar, perquè els Governs són organitzacions que temen les converses a les xarxes, i tenen motius per a fer-ho. Per aconseguir que aquestes preguntes s’atenguin, caldria més coses de les que sembla.
En realitat vaig atendre només un cas i era intern: algú del govern havia avisat d’un problema als desenvolupadors, d’una empresa externa. Per a explicar-lo, adjuntava un log. Una auditoria de seguretat de l’empresa externa va dir que això posava en risc l’aplicació perquè s’esbombava un error, logs inclosos. Aquí es quan em varen avisar. No era res, perquè es tractava d’una versió que no estava en producció i els logs eren de dades simulades, o no s’hauria usat GitHub per avisar de res. Ho esmento perquè et facis una idea de la quantitat d’ulls que miren a una organització tant grossa. Si no hi ha totes aquestes coses, que deia que són més de les que semblen, ningú no arriscarà per a després rebre un informe negatiu de ves-te’n a saber on.
Als meus plans hi havia tenir un equip per atendre professionals i empreses que volguessin fer feina amb el nostre software. És lliure, multi-idioma i complia l’esquema d’interoperabilitat, així que podia haver-hi negoci amb tot l’estat. Atendre partners no havia de ser una cosa només al GitHub, que també. Amb precaucions de seguretat i el que calgués, però que estigués institucionalitzat. És una feina. Tot plegat havia de formar part d’una direcció general nova, de Societat Digital, que no va interessar i no s’ha fet. En parlo un parell de capítols de podcast enrere.
El full de ruta era al pla director que s’havia de publicar la nova legislatura, però en vista de les circumstàncies només vaig transmetre internament per a que fessin què trobessin.