Защо да разглеждате данни, когато можете да ги слушате?
Това е въпросът, който някои учени, композитори и програмисти изследват в опит да представят данните по творчески начини. Когато хората „чуват“ данни, мисленето продължава, те бързо и интуитивно идентифицират тенденции и аномалии и реагират по-интуитивно на информацията.
Като цяло, така наречените „сонификатори на данни“ не очакват тяхната работа да замени визуализациите на данни, а по-скоро да допълва фактите и цифрите, които изобразяват. Наистина, някои приемат артистични права с композициите си, докато други се придържат по-стриктно към това, което разкриват данните. Независимо от това, бележките разказват история за числата.
Science Friday разговаря с няколко специалисти по сониране на данни за техните подходи.
Brian Foo, DJ, управляван от данни
Всеки ден компютърният програмист Брайън Фу дигитализира материали за Нюйоркската обществена библиотека, „мислейки как можем да направим материалите по-достъпни онлайн“, казва той. Неговият редовен концерт – който включва „отваряне на някои набори от данни и правене на страхотни неща с [тях]“ – допълва личен проект, който стартира през 2015 г., наречен Диджей, управляван от данни . Това включва вземане на различни набори от данни, като неравенството в доходите в Ню Йорк или загубата на земя в крайбрежната Луизиана в продължение на много десетилетия, и превръщането им в песни.
„Най-вече аз се опитвах да мисля за други начини за предаване на данни извън визуализацията на данни или диаграми“, казва Фу. Като художник, работата с визуални данни „ме ограничаваше по отношение на курирането на конкретно преживяване около набор от данни“, казва той. Foo хареса идеята за използване на музика, защото тя може да предизвика емоция. И ако една песен стане ушен червей , „тази основна тема също е заседнала в главата ви, да се надяваме.“
Foo започва с търсене на масиви от данни, които са обществено достояние, обикновено предоставени от правителството или университетите. Той поддържа електронна таблица с тези, които се открояват естетически или тематично, и разглежда комбинация от фактори, когато обмисля нова композиция. „Едното е просто общата форма на данните“, казва той. „Ако визуализирате данните и те са просто много плоски, вероятно ще получите плоска песен.“
„Плоските“ данни помогнаха да се подчертае точка в неговата песен за представянето на пол, раса и етническа принадлежност в хитови филми . „Очевидно [тези представяния] не са разнообразни, така че бях принуден да направя песен, която беше много монотонна,” казва той. Една-единствена нота на пиано „А“, представяща ролите на бели мъже, ясно доминира в мрачната композиция. Може да не е сложно, но „това предава данните“, казва той.
Foo внимава как представя информацията. „Просто трябва да помисля кое е правилният вид изживяване“ за слушателя, казва той. Предизвикателството е да решите дали обективно да съобщите данните или да се опитате да предизвикате конкретен отговор. „С по-чувствителните данни става трудно. Подобно на неравенството в доходите, не искам по-бедните райони да звучат по-тъжно или по-некачествени“, казва той. В потенциално чувствителни случаи той обикновено избира директен подход, като например представяне на аспекти на данните чрез промени в обема.
За всяка песен Foo използва комбинация от Python (за анализиране на данните) и ChucK (език за програмиране), за да създаде алгоритъм, който обединява всички звуци. Той обикновено семплира различни песни и изпълнители, които са свързани с разглежданата тема - неговото озвучаване на нивата на доходите в Ню Йорк включва например местни музиканти. (Цялото му кодиране е с отворен код и той кани други да го използват, за да създадат свои собствени сонификации.)
Досега Foo е завършил 10 песни и сега проучва други начини за представяне на данни. „Като цяло търся в данните история, или някакъв вид разказ, или някакъв вид преживяване, което да преведе слушателите от началото до края“, казва той.
Лорън Оукс и Ник Соу
След три летни теренни проучвания, Лорън Оукс, еколог и учен по природни системи, разполага със стабилен набор от данни за жълтото кедрово дърво и съседните иглолистни дървета в северните части на архипелага Александър в югоизточна Аляска. Като част от нейната докторска степен. изследвания в Станфордския университет, тя беше изследвала как горската общност реагира на продължилия десетилетия спад на жълтия кедър и как тези промени се отразиха на хората в региона, които отдавна разчитаха на дървото.
Оукс вече беше публикувала статии за нейните изследвания, когато колега доктор по философия. Студентът Nik Sawe изпрати масов имейл миналата пролет до колеги с искане за масиви от данни, които той може да превърне в музикални композиции. Оукс беше заинтригуван.
„Веднага си помислих, че идеята е завладяваща, да мога да предам научно откритие чрез по същество универсален език“ – имайки предвид музика, казва Оукс, който сега е преподавател и изследовател в Станфорд. „Когато представям [данни] като учен, смятам, че фактите, данните и графиките са важни, но също така е важна и историята и как предаваме тези съобщения.“
Oakes и Sawe започнаха да споделят идеи веднага. Соу, който сега е невроикономист в Станфорд, създаде компютърна програма, в която можеше да вземе точки от данни и да ги преведе в различни тонове, височини и инструменти. Последната композиция на дуото е лека класическа музика, която проследява промените в популацията на дърветата в архипелага Александър от север на юг, като отделя отделни дървета, видове и дори смъртни случаи на дървета, които са белязани от мълчание.
„В парчето всяка нота представлява дърво“, обяснява Оукс. „Всеки вид също „свири“ на различен инструмент и има аспекти като височина и диаметър на дървото, които влияят на тона и продължителността на нотата.“
Средата на песента е заета с ансамбъл от инструменти, представляващи различни дървесни видове, които се състезават за регенериране. Към края на парчето това, което някога е било мелодия, доминирана от пиано - представляваща жълтия кедър - се центрира върху флейта, символизираща бучиниш.
Краят на песента изненада Sawe. Докато той внимателно избира как да представи различни данни в своите сонификации, „нямам представа как ще звучи, докато не чуя всичко“, казва той.
Sawe вижда музиката като кратък начин за представяне на голямо количество данни. Когато учените анализират своите данни, казва той, те трябва да намерят начини да опростят множество графики и измерения, което може да отнеме много време. Но сонификацията на данни може да комбинира всички тези елементи в следа, която ухото може лесно да проследи. „Това е огромна полза за получаването на необработена представа за вашите данни“, казва той.
Оукс казва, че въпреки че са направили някои стилистични избори за композицията, фактите и цифрите от нейното изследване остават гръбнакът на проекта. „Очевидно има някакво тълкуване и взети решения, но това е вярно за набора от данни“, казва тя. „Чувствам, че по някакъв начин допълва науката.“
Oakes и Sawe се надяват да съберат банда от музиканти за живо изпълнение на композицията през пролетта.
Доменико Вичинанца и Женевиев Уилямс
Женевиев Уилямс е учен по движения, изучаващ биомеханика, а Доменико Вичинанца е физик и композитор. И двамата работят в университета Anglia Ruskin в Обединеното кралство и са свързани с общ интерес: циклични явления.
„Почти всичко в тялото ни е по един или друг начин свързано с цикли – събуждане и сън, или дори на малко микроскопично ниво, ако погледнете клетките, биологичните системи“, казва Вичинанза. „Концепцията за цикли или редовност е толкова важна, толкова решаваща и в музиката.“
Дуото осъзнава, че един от начините, по които могат да предадат данни за човешкото тяло, може да бъде чрез музика. За първото си сътрудничество през 2015 г. те се фокусираха върху ритмите на размахване на пръсти. Можете сами да опитате този експеримент: дръжте ръцете си плоски пред себе си, като показалците сочат един към друг. Започнете да размахвате тези пръсти нагоре и надолу в противоположни посоки и увеличете скоростта си. В един момент пръстите ви ще се движат в унисон, нагоре и надолу.
„Искахме да се опитаме да чуем този преход и да се опитаме да използваме музика, за да опишем развитието му“, казва Вичинанза.
Изследователите поставят сензори за движение на върховете на показалците на участниците и след това проследяват и измерват разликите в ускорението на всеки пръст. След това те картографират движението към музикални ноти, използвайки персонализиран алгоритъм, който са разработили с езика за програмиране Java. Резултатът е композиция за пиано, която започва оживено, след това става почти монотонна към края – финал, който представя как махащите пръсти в крайна сметка се движат във фаза.
„Ниските и високите ноти на пиано са съответно малките и големите разлики в ускорението на двата пръста“, казва Уилямс.
В един момент от композицията свири много ниска нота, което означава, когато единият пръст (в този случай левият) влезе във фаза с другия.
„Единият от двата пръста трябваше рязко да промени посоката си, за да настигне другия“, казва Вичинанза. И „тази внезапна промяна в ускорението беше отговорна за тази много ниска нота, която започна новата мелодия.“
Двамата изследователи виждат приложения в реалния свят на сонификация на данни като това. Кажете, че сте наранили ръката си и трябва да отидете на физиотерапия. Вашият физиотерапевт ще ви покаже упражнения, които трябва да правите, за да ви помогне да се възстановите. „Но често, когато се приберете у дома, се борите да си спомните какви упражнения сте правили; питате се дали го правите правилно“, казва Уилямс.
Сега си представете, че можете да проследите движението на ръката си и обхвата на движение чрез звук - бихте могли да получите незабавна обратна връзка дали правите терапевтичното упражнение правилно или не.
„Вашият терапевт може просто да предпише мелодия вместо упражнение“, казва Вичинанза. „Правилното темпо и правилната последователност от ноти биха били индикация, че упражнението е правилното.“
Двойката продължава да работи върху всички видове сонификации на данни, включително едно, което се фокусира върху различни екологични и културни аспекти на село във Франция.