Пошук: дані

Знайдені користувачі'дані':
Всі матеріали з тегом 'дані'

Тепер уся Україна - на антикорупційній карті ремонтів (ІНТЕРАКТИВ)

Понад 40 000 ремонтних тендерів за весь час існування Prozorro викладено у вигляді інтерактивної карти.

Теги:  дані, корупція, закупівлі, технології
теги:

Як під мікроскопом. Facebook та Google знають про нас набагато більше, ніж ми можемо уявити

Оцінка статті на цей момент: +0/-0
Читати Не читати Коментувати
  • 30934 Перегляди
  • 0 Коментарі
  • 02/05/2018Дата публікації

Дані, які про вас збирають, включають стеження за вашим місцезнаходженням, програмами, які ви встановили, коли саме ви їх використовували та навіщо. Також можна отримати доступ до вашої вебкамери та мікрофона в будь-який час. Можна побачити ваші контакти, електронні листи, записи в календарі, історію дзвінків, отримані та відправлені повідомлення, завантажені файли, ігри, в які ви грали, ваші фото та відео, музику, історію пошуків в інтернеті, історію переглядів у браузері і навіть радіостанції, які ви слухали.

Переклад з The Guardian

Від Текстів: всі дані, про які йдеться нижче, як засвідчив скандал і компанією Кембридж Аналітика, можуть опинитися в руках у третіх людей, зокрема, і в Росії.

***

Збір наших персональних даних заходить значно далі, ніж можна уявити. Тож я зібрався з духом і подивився сам. Зараз я вас розізлю. Я покажу вам, скільки інформації про вас отримують Facebook та Google, а ви цього навіть не розумієте.

Ні КГБ, ні жодній сучасній спецслужбі й не снилися такі можливості у зборі інформації про громадян, які мають Гугл і Фейсбук

Google знає, де ви були

Google накопичує дані про ваше місцезнаходження (якщо ви увімкнули функцію «відстеження місцезнаходження» кожного разу, як ви вмикаєте телефон. Ви може побачити часову послідовність, де ви були, починаючи з першого дня, коли ви почали використовувати Google на вашому телефоні.

Перейдіть за цим лінком, щоб побачити ваші власні дані - https://www.google.com/maps/timeline?pb

Ось всі місця, які я відвідав за минулі 12 місяців в Ірландії. Зафіксований час доби, коли я був у цій локації, і скільки часу знадобилося на добирання до неї з мого попереднього місцезнаходження.

Карта Google з усіма місцями в Ірландії, які автор відвідав цього року

Google знає все, що ви колись шукали в Інтернеті – навіть видалене

Google зберігає історію пошукових запитів, зібрану з усіх ваших пристроїв. Це означає, що навіть якщо ви видалили історію ваших пошуків на одному пристрої, він все ще може мати ваші дані, записані з інших пристроїв.

Перейдіть за цим лінком, щоб побачити ваші власні дані: myactivity.google.com/myactivity

Google має ваш рекламний профіль

Google створює ваш рекламний профіль, виходячи з вашої інформації, включно з місцезнаходженням, статтю, віком, захопленнями, фахом, зацікавленнями, статусом особистих стосунків, імовірною вагою (чи не хочете схуднути на 1 кілограм за день?) та рівнем доходів.

Перейдіть за цим лінком, щоб побачити ваші власні дані: https://www.google.com/settings/ads/

Google знає всі програми, якими ви користуєтеся

Google зберігає інформацію про кожну програму чи розширення браузера, які ви використовуєте. Він знає, як часто ви їх запускаєте, де саме користуєтеся і з ким через них взаємодієте. Це означає, що вони знають, з ким ви спілкуєтеся через Facebook, з якими країнами спілкуєтеся чи коли йдете спати.

Перейдіть за цим лінком, щоб побачити ваші власні дані: https://security.google.com/settings/security/permissions

Google має всю вашу історію користування YouTube

Google зберігає всю вашу історію YouTube. Тобто він, імовірно, знає, чи збираєтеся ви скоро стати батьком чи матір’ю, чи є ви консерватором, чи є ви прогресистом, чи є ви іудеєм, християнином або мусульманином, чи відчуваєте ви депресію або суїцидальні настрої, чи страждаєте ви від анорексії…

Перейдіть за цим лінком, щоб побачити ваші власні дані: https://www.youtube.com/feed/history/search_history

Дані, які Google зібрав щодо вас, еквівалентні мільйонам документів Word

Google пропонує можливість завантажити всі дані, які він зібрав щодо вас. Я надіслав запит на завантаження, і цей файл мав розміри 5.5 гігабайт, що приблизно еквівалентно трьом мільйонам документів у форматі Word.

За лінком, вказаним трохи нижче, знаходяться ваші закладки, електронні листи, контакти, файли з Google Drive, відео з YouTube, фото, зроблені з вашого телефону, комерційні установи, в яких ви щось купували, товари, які ви купували через Google…

А також дані з вашого календаря, ваші сесії спілкування в Google hangout, історія ваших місцезнаходжень, музика, яку ви слухали, книжки, які ви купували на Google, групи в Google, до яких ви належите, веб-сайти, які ви створили, телефони, якими ви користувалися, сторінки, якими ви ділилися, скільки кроків ви проходили щодня…

Перейдіть за цим лінком, щоб побачити ваші власні дані: https://www.google.com/takeout

Facebook теж має гігантські обсяги інформації про вас

Facebook пропонує схожу опцію – завантажити всю вашу інформацію. Моя зайняла приблизно 600 мегабайт, що становить близько 400 тисяч документів Word.

Дані включають будь-яке повідомлення, яке ви відправляли чи отримували, будь-який файл, всі контакти у вашому телефоні та всі аудіо повідомлення, які ви відправляли чи отримували.

Перейдіть за цим лінком, щоб побачити ваші власні дані: https://www.facebook.com/help/131112897028467

Facebook зберігає про вас все - від картинок-"стікерів" до місця, звідки ви входили в систему

Facebook також зберігає те, що, на його припущення, може вас цікавити - виходячи з тем, щодо яких ви поставили лайки та про які говорили з друзями (мені, вочевидь, подобалася тема "дівчата").

Зразки даних, які Facebook зібрав про автора статті

Без якоїсь логічної потреби вони також зберігають всі картинки-"стікери", які ви коли-небудь відправляли через Facebook (уявлення не маю, навіщо вони це роблять. Це просто якийсь жарт наразі).

Вони також записують час, коли ви щоразу логінилися у Facebook, з якої географічної локації та з якого пристрою.

А ще вони зберігають всі програми, які ви будь-коли пов'язували з вашим екаунтом у Facebook. В такий спосіб вони можуть здогадатися, що мене цікавить політика, веб- та графічний дизайн, що я не мав пари у проміжок часу між Х та Y, коли в мене була інстальована програма для знайомств Tinder, і що в листопаді я купив телефон НТС.

(Примітка: якщо ви встановили Windows 10, ось вам зображення лише опцій, пов'язаних з налаштуванням приватності, з 16 вкладеними меню, - і де всі варіанти увімкнені за замовчуванням під час встановлення Windows 10).

Налаштування приватності у Windows 10

У Фейсбуці можуть отримати доступ до вашої вебкамери та мікрофона

Дані, які про вас збирають, включають стеження за вашим місцезнаходженням, програмами, які ви встановили, коли саме ви їх використовували та навіщо, доступ до вашої вебкамери та мікрофона в будь-який час, ваші контакти, електронні листи, записи в календарі, історію дзвінків, отримані та відправлені повідомлення, завантажені файли, ігри, в які ви грали, ваші фото та відео, музику, історію пошуків в інтернеті, історію переглядів у браузері і навіть радіостанції, які ви слухали.

А ось інші способи, якими Google отримує вашу інформацію

Я отримав документ Google Takeout з усією моєю інформацією, і ось структурований виклад всіх способів, якими вони можуть її отримати.

Документ Google Takeout з даними автора

Ось документ з історією пошуків, у якому 90 тисяч окремих записів, включно з зображеннями, які я завантажував, та веб-сайтами, на які я заходив (я проілюстрував це історією моїх запитів на сайті піратських торентів Pirate Bay, щоб показати, якої шкоди може завдати ця інформація).

Історія пошуків автора містить 90 тисяч записів

Google знає, які події ви відвідували, і коли саме

Ось дані мого Google Calendar, які показують всі події, які я до нього додавав, чи дійсно я ці події відвідував, у який час я там був (на ілюстрації – мій візит на співбесіду щодо роботи в маркетинговій компанії, і коли я на неї прийшов).

Запис в календарі Google з інформацією про співбесіду, на яку ходив автор

У Google є видалена вами інформація

А це мій Google Drive з файлами, які я однозначно видалив – включно з моїм резюме, файлом зі щомісячними витратами та записом всіх програм, файлів та веб-сайтів, які я коли-небудь створював. І навіть мій приватний ключ до системи шифрування PGP – я свого часу шифрував ним свої листи, а потім видалив.

Google може знати графік ваших тренувань

Це дані фітнес-трекера Google Fit – вони показують всі пройдені мною кроки, час, коли я йшов на прогулянку, та всі випадки, коли я записував свої заняття з медитації/ йоги/ силових тренувань (я видалив цю інформацію і скасував дозвіл Google Fit її отримувати).

А ще у них є ваш фотоархів - за роки

Тут всі фото, будь-коли зроблені моїм телефоном і відсортовані за роками. Вони включають супровідні дані про те, коли і де я їх зробив.

Google зберігає будь-який відправлений вами електронний лист

Кожен email, який я будь-коли надсилав, разом із видаленими мною або відсортованими як спам.

І це ще далеко не все

Ось короткі підсумки того, що містять тисячі файлів, отримані мною від сервісу Google Activity.

По-перше, будь-яка реклама в Google, яку я переглядав чи переходив на неї, будь-яка програма, яку я запускав чи використовував, включно з часом, коли я це робив, будь-який веб-сайт, який я відвідував, і коли саме, і будь-яка програма, яку я встановлював чи яку шукав у Google.

Історія пошуків автора в Google, починаючи з 2009 року

У них також є всі зображення, які я колись знаходив і зберігав, будь-яка локація, яку я шукав чи по якій клацав мишкою, будь-яка стаття, яку я шукав чи читав, і будь-який пошуковий запит Google, зроблений мною, починаючи з 2009 року. І насамкінець, будь-яке відео YouTube, яке я шукав чи переглядав з 2008 року.

Ця інформація може бути використана мільйоном підлих способів. Кажете, що ви не терорист? А чому ж це ви тоді шукали щось про Ісламську державу? Працюєте в Google і підозрюєте, що дружина вам зраджує? Чудово – просто подивіться історію її місцезнаходжень та пошукових запитів за минулі 10 років. Змогли отримати доступ до чужого екаунту Google? Супер, у вас є хронологічний щоденник усього, що ця людина робила за минулі 10 років.

Це одна з найбезумніших речей сучасного світу. Ми ніколи не дозволили б владі чи корпораціям встановлювати камери й мікрофони в наших будинках, або стежити за нашим пересуванням. Але ми зробили це самі, тому що – і хай все йде під три чорти – ми хочемо дивитися відео з гарненькими песиками.

Оцінка статті на цей момент: +0/-0
Читати Не читати Коментувати
 
 
теги:

Як уряд відкриває дані: другий місяць виконання постанови

Оцінка статті на цей момент: +0/-0
Читати Не читати Коментувати
  • 18426 Перегляди
  • 0 Коментарі
  • 17/04/2018Дата публікації

ТЕКСТИ продовжують відстежувати, як органи влади та держпідприємства відкривають нові набори даних. Цього разу мова піде про підсумки другого місяця впровадження оновленої версії Постанови КМУ №835. А також проаналізуємо найбільш поширені помилки розпорядників при оприлюднені відкритих даних.

Автори: Богдан Тишкевич (аналітик, Texty.org.ua), Катерина Оніліогву (керівник напряму відкритих даних проекту "Прозорість і підзвітність у державному управлінні та послугах", Андрій Газін (експерт проекту "Прозорість і підзвітність у державному управлінні та послугах")

Оновлення (18 квітня). До редакції надійшло уточнення від Міністерства внутрішніх справ України щодо кількості оприлюднених наборів даних. З урахування наборів Головного сервісного центру МВС їх загальна кількість становить 5 (раніше ми повідомляли, що - 4). У деяких випадках, закріплені за певним відомством набори оприлюднюється його структурним підрозділом, який володіє необхідною інформацією. У такому разі, рекомендуємо розпорядникам вказувати інформацію та посилання (метадані) про ці набори. Це допоможе спростити пошук для користувачів порталу.

Підсумки другого місяця

Вже минуло понад два місяці після того, як в Україні почало діяти нове законодавство про відкриті дані. Відповідно до постанови КМУ № 1100 від 20.12.2017, перелік наборів розширився, а розпорядники отримали чіткіші інструкції щодо їх публікації. Станом на 9 квітня центральні органи виконавчої влади та держпідприємства оприлюднили менше половини передбачених наборів даних. Ще менше датасетів можна вважати придатними для практичного використання. Тепер розпорядники мають лише місяць для того, щоб надолужити втрачене та виправити допущені помилки.

З 9-го березня по 9-те квітня центральні органи виконавчої влади оприлюднили 30 нових наборів даних. Таким чином, їх загальна кількість зросла до 251 (45% від передбаченого переліку). Серед 56 розпорядників, охоплених моніторингом, 12 оприлюднили всі набори, 23 - щонайменше 1, а 21 розпорядник не оприлюднив жодного. Візуалізація нижче показує, скільки наборів даних необхідно оприлюднити центральним органам виконавчої влади та держпідприємствам.

На ній ми показали тих розпорядників, які мають оприлюднити ще щонайменше 5 наборів даних. З повним переліком можна ознайомитись у первинних даних моніторингу.

Найбільший ривок у публікації відкритих даних зробила Державна служба статистики. Відомство оприлюднило 17 класифікаторів у машиночитаному форматі. Ці набори зможуть виконувати функцію довідників для інших наборів даних, які використовують, наприклад, класифікацію організаційно-правових форм або адміністративно-територіальних одиниць. Державна фіскальна служба та Державне агентство рибного господарства оприлюднили по 4 набори даних. Це дозволило їм повністю виконати норми законодавства.

Загалом, за березень Єдиний державний портал відкритих даних поповнився інформацією про зареєстровані кримінальні правопорушення (Генеральна прокуратура України), податкові перевірки (Державна фіскальна служба України), запаси та використання рибних ресурсів (Державне агентство рибного господарства України), тарифи (Національна комісія, що здійснює державне регулювання у сферах енергетики та комунальних послуг).

4 типові помилки розпорядників на data.gov.ua

Сам факт публікації на порталі відкритих даних не робить автоматично дані відкритими. Вони мають відповідати низці якісних критеріїв, що уможливить їх аналіз або використання е-сервісами. На жаль, переважна більшість розпорядників припускаються помилок при оприлюднені наборів. Розглянемо найпоширеніші з них.

Нерозуміння принципів відкритих даних

Поширеними прикладами нерозуміння принципів відкритих даних є оприлюднення агрегованих (зведених) показників, форм звітності та веб-сервісів. Інформація в такому форматі може видаватися розпорядникам зручною, логічною та такою, що легко сприймається. Веб-сервіси дозволяють шукати та візуалізувати дані.

Однак, цінність відкритих даних полягає у їх первинній та деталізованій формі. Саме тому, розпорядники мають оприлюднювати первинні дані та експортувати їх із власних інформаційних систем. Розглянемо декілька прикладів.

Генеральна прокуратура України оприлюднює інформацію про зареєстровані кримінальні правопорушення та результати їх досудового розслідування. У наборі наведені загальні показники злочинності по Україні, згруповані за місяцями. З такими даними неможливо нічого зробити, і потрібні додаткові запити в ГПУ, щоб зрозуміти, як тлумачити ці данні. Найкраще подавати інформацію про кожне зареєстроване правопорушення окремим записом в таблиці.

Деякі розпорядники опублікували посилання на власні веб-сервіси замість наборів даних: Єдиний електронний реєстр спортивних споруд від Міністерства молоді та спорту України, База даних спеціальних дозволів на користування надрами від Державної служби геології та надр України, Дані державного моніторингу поверхневих вод від Державного агентства водних ресурсів. У цих та інших випадках необхідно перенести дані інформаційних систем, на основі яких побудовані сервіси, на data.gov.ua, або надати користувачам доступ через API (прикладний програмний інтерфейс).

Некоректні формати збереження файлів

Перш ніж завантажити набір на data.gov.ua, необхідно визначити тип даних та зберегти файл у коректному форматі. Дані можуть бути текстовими, структурованими, графічними, геопросторовими або ж мати інші типи. У пункті 9 постанови КМУ №835 визначені формати для кожного з них.

Однак, як показує практика, розпорядники інколи допускають помилки при визначенні типу даних та збереженні файлів. 35 із 251 (14%) оприлюднених наборів даних на data.gov.ua мають формати, які не відповідають типові.

Переважно це структуровані дані, збережені у текстових форматах, наприклад, Реєстр договорів про співробітництво територіальних громад у форматі DOCX, або Ліцензійний реєстр суб’єктів туроператорської діяльності у форматі PDF. Найбільшу кількість таких наборів мають Міністерство економічного розвитку та торгівлі України - 6, Міністерство соціальної політики України - 4, Державна служба спеціального зв’язку та захисту інформації України - 4.

Інша проблема полягає в тому, що в машиночитаних форматах зберігаються неструктуровані дані. Деякі розпорядники просто викладають документи в тому ж вигляді, в якому готують в рамках своєї роботи. Таку помилку зробити у Реєстрі спортивних рекордів з визнаних в Україні видів спорту, Інформації про кількість проведених планових/позапланових перевірок та їх результати.

Документи Microsoft Excel містять “шапку”, поля для підпису та об’єднані клітини. Їх потрібно видалити перед тим, як перетворювати файл у CSV. У першому рядку документу потрібно залишити назви змінних, а у всіх наступних - їх значення. Лише після цього файл можна зберігати.

Багато плутанини виникає з кодуванням файлів.

Для публікації відкритих даних потрібно використовувати кодування UTF-8. Однак, розпорядники часто зберігають файли з іншим кодуванням (зазвичай Cyrillic 1251). На ілюстрації нижче ви можете побачити, як виглядають неправильно і правильно збережені файли.

Невпорядкованість наборів та ресурсів

Досить часто розпорядники недооцінюють важливість вибору назви набору даних. За підсумками моніторингу, назви 119 з 251 (47%) наборів даних, оприлюднених на data.gov.ua, повністю або частково не збігаються з назвами з Переліку, визначеного в Постанові КМУ №835. Така практика ускладнює пошук для активістів і робить ненадійним застосування автоматизованого збору інформації з сайту. Розпорядникам бажано називати набори відповідно до переліку, затвердженого Постановою КМУ №835, або діяти відповідно до стандартів.

Інша поширена практика - оприлюднювати кожен новий файл окремим набором даних. Для прикладу, Центральна виборча комісія оприлюднює кожен нормативно-правовий акт, як окремий набір даних. На сторінці відомства на data.gov.ua вже нагромаджено понад 450 наборів та ресурсів.

Знайти потрібну інформацію за таких обставин вкрай складно. Аналогічна ситуація і в Міністерства інфраструктури України (390 наборів даних та ресурсів), Державного агентства рибного господарства України (221), Державної казначейської служби України (214), Державної служби статистики України (134) та низки інших розпорядників. Для того, щоб вирішити проблему, необхідно групувати подібні ресурси в набори даних, чіткіше регламентувати процедури оприлюднення та роз’яснювати їх розпорядникам.

Некоректне оформлення ключових слів

Лише 78 з 251 (31%) наборів даних, оприлюднених на data.gov.ua, мають коректно сформульовані ключові слова. Візуалізація нижче демонструє найпоширеніші помилки.

Як бачимо, розпорядники найчастіше переносять назви наборів даних до ключових слів. Для того, щоб правильно оформити ключові слова, необхідно розділити назву набору даних на слова та словосполучення, та вибрати з них найбільш сутнісні.

Найбільшу кількість наборів даних з помилками у ключових словах мають Міністерство інфраструктури України - 22, Державна фіскальна служба України - 14, Державна служба інтелектуальної власності України - 12 та Державна служба статистики України - 12 наборів даних.

Висновки

У розпорядників відкритих даних лишається один місяць для того, щоб виконати норми законодавства і оприлюднити решту наборів. Дуже важливо при цьому приділяти однакову увагу як кількості, так і якості наборів. А для цього потрібно чітко усвідомлювати основні принципи відкритих даних та спиратися на стандарти їх оприлюднення.

Посилання

1. Первинні дані

2. Результати попереднього моніторингу

Оцінка статті на цей момент: +0/-0
Читати Не читати Коментувати
 
 
  • Дані щодо вакцинації. Немає, ховають чи не вміють працювати?

    – Доброго дня! Скажіть, Олена ще не зʼявилась? – Ні. Я Вам казала, телефонуйте до її начальника. – Я б з радістю, та він теж не відповідає. Це виглядає так, ніби Ви навмисно саботуєте надання інформації? – Нічого ми не саботуємо, – обурюється голос в телефоні. – Ми тут чи не єдині, хто відповідає на дзвінки, всі тільки нам і телефонують, працювати ніколи, – скаржиться співрозмовниця. Цілими днями телефонують... Начальник точно є, я сьогодні його бачила. Будь ласка, не дзвоніть сюди більше, я вам нічим допомогти не зможу. читати повністю
    31 січня, 12:47, 2018
    24382 перегляди +3 / -1 1 коментар

  • Як судять YouControl за обробку відкритих даних

    Сьогодні проходить чергове засідання суду по компанії YouControl, яка впала у немилість за "незаконний збір" відкритої (!) інформації.

    Теги:  суд, технології, data, дані, сбу