Большие данные

Март 23, 2014, 17:00

Недав­но ко мне об­ра­ти­лась пред­ста­ви­тель­ни­ца из­да­тель­ства «Манн, Ива­нов и Фер­бер» с пред­ло­же­ни­ем про­чи­тать и на­пи­сать от­зыв об од­ной из их но­вых книг. Тема пред­ло­жен­ной кни­ги мне была не ин­те­рес­на и в от­вет на мой от­каз, она пред­ло­жи­ла вы­брать для об­зо­ра лю­бую из из­дан­ных этим из­да­тель­ством книг. Я вы­брал кни­гу «Боль­шие дан­ные». Тут надо сде­лать неболь­шое от­ступ­ле­ние: из рус­ско­языч­ных из­да­тельств «МИФ» мне нра­вить­ся, по­жа­луй, боль­ше всех, так что силь­но упра­ши­вать меня не при­ш­лось. (Бро­сить все это про­грам­ми­ро­ва­ние? Стать из­вест­ным ли­те­ра­тур­ным кри­ти­ком?)

Сле­ду­ет сра­зу сде­лать неболь­шое за­ме­ча­ние ка­са­е­мо са­мо­го это­го тер­ми­на «боль­шие дан­ные». Лич­но для меня это было но­во­стью. Ав­то­ры кни­ги пи­шут что под сло­вом «боль­шие» сле­ду­ет по­ни­мать не столь­ко объ­ем дан­ных, сколь­ко пол­но­ту вы­бор­ки («N = все»). В до­ком­пью­тер­ную эпо­ху для ана­ли­за ка­ких-то дан­ных необ­хо­ди­мо было для на­ча­ла вы­пол­нить из них слу­чай­ную вы­бор­ку та­ко­го объ­е­ма, ко­то­рый еще под­да­ет­ся руч­но­му ана­ли­зу. На ос­но­ве ана­ли­за это­го неболь­шо­го объ­е­ма де­ла­лось пред­по­ло­же­ние о всех дан­ных це­ли­ком (это и сей­час ак­ту­аль­но, на­при­мер, для со­цио­ло­ги­че­ских ис­сле­до­ва­ний, толь­ко тут слож­ность в са­мом сбо­ре дан­ных). Ко­гда мы вхо­дим в мир боль­ших дан­ных, то уже нет необ­хо­ди­мо­сти де­лать пред­ва­ри­тель­ный от­бор из все­го их объ­е­ма, мы ана­ли­зи­ру­ем все це­ли­ком. В кни­ге при­во­дить­ся при­мер вы­яв­ле­ния до­го­вор­ных боев в япон­ской борь­бе сумо с по­мо­щью ста­ти­сти­че­ско­го ана­ли­за. Весь вход­ной объ­ем дан­ных, это все­го чуть боль­ше 64000 по­един­ков — со­вер­шен­но смеш­ной объ­ем для того что мы при­вык­ли под­ра­зу­ме­вать под тер­ми­ном «боль­шие дан­ные». Од­на­ко, с точ­ки зре­ния ав­то­ров кни­ги, это боль­шие дан­ные и есть, ведь для ана­ли­за были ис­поль­зо­ва­ны ре­зуль­та­ты всех боев (N = все) за мно­го лет.

Нет смыс­ла пе­ре­ска­зы­вать об­ла­сти при­ме­не­ния боль­ших дан­ных, ко­то­рые упо­мя­ну­ты в кни­ге — луч­ше ее про­сто про­чи­тать. Там мно­го при­ме­ров. А для ин­те­ре­су­ю­щих­ся те­мой сей­час во­об­ще вре­мя хо­ро­шее: боль­шие дан­ные в моде, в но­во­стях по­сто­ян­но опи­сы­ва­ют все но­вые их при­ме­не­ния.

Эпо­ха боль­ших дан­ных — это не что-то та­кое, к чему надо го­то­вить­ся, это уже наша объ­ек­тив­ная ре­аль­ность, став­шая воз­мож­ной бла­го­да­ря по­все­мест­ной да­ти­фи­ка­ции (пе­ре­во­да ин­фор­ма­ции в при­год­ный для ана­ли­за циф­ро­вой вид). И как у лю­бой мощ­ной тех­но­ло­гии у нее есть две сто­ро­ны.

С од­ной сто­ро­ны, боль­шие дан­ные бук­валь­но спа­са­ют жиз­ни. На­при­мер непре­рыв­ный мо­ни­то­ринг ме­ди­цин­ских по­ка­за­ний недо­но­шен­ных мла­ден­цев, с уче­том ра­нее про­ана­ли­зи­ро­ван­ных за­ме­ров, поз­во­ля­ет рас­по­знать на­ча­ло раз­ви­тия ин­фек­ции, ко­гда ни­ка­ких внеш­них при­зна­ков еще нет. В дан­ных ин­фек­ция уже за­мет­на, и ле­че­ние мож­но на­чать сра­зу.

С дру­гой сто­ро­ны, боль­шие дан­ные бро­са­ют вы­зов со­хра­не­нию кон­фи­ден­ци­аль­но­сти и при­ват­но­сти. Ана­ли­зи­руя по­треб­ле­ния элек­тро­энер­гии че­ло­ве­ком мож­но мно­гое узнать о его при­выч­ках. Или срав­ни­вая по­ве­де­ние лю­дей на сай­тах скры­ва­ю­щих ре­аль­ные име­на и сай­тах где ре­аль­ные име­на из­вест­ны, мож­но с до­ста­точ­но вы­со­кой точ­но­стью иден­ти­фи­ци­ро­вать кон­крет­но­го че­ло­ве­ка (в кни­ге есть при­мер рас­кры­тия ре­аль­ных имен поль­зо­ва­те­лей на ос­но­ве ано­ни­ми­зи­ро­ван­ных дан­ных с сер­ви­са про­ка­та филь­мов Net­flix при срав­не­нии их с ре­аль­ны­ми име­на­ми поль­зо­ва­те­лей сай­та IMDb).

Та­к­же есть риск за­хо­да со­всем уже на тем­ную сто­ро­ну. Ска­жем мо­жет по­явить­ся ис­ку­ше­ние про­гно­зи­ро­ва­ния бу­ду­ще­го по­ве­де­ния че­ло­ве­ка, для пре­се­че­ния воз­мож­ных пра­во­на­ру­ше­ний, до их непо­сред­ствен­но­го со­вер­ше­ния. Про­сто по­то­му, что ана­лиз дан­ных по­ка­зал вы­со­кую ве­ро­ят­ность та­ких со­бы­тий. Ан­ти­уто­пия в чи­стом виде — че­ло­век еще ни­че­го не сде­лал, но про­бле­мы у него уже есть.

Важ­но по­ни­мать, боль­шие дан­ные по­ка­зы­ва­ют нам что-то на ос­но­ве того что уже было. Пред­ска­зать нечто прин­ци­пи­аль­но но­вое они не в со­сто­я­нии. Так что мир че­ло­ве­че­ско­го ин­тел­лек­та, твор­че­ства, про­зре­ний, изоб­ре­та­тель­но­сти оста­ют­ся, к сча­стью, за нами, несмот­ря на весь про­гресс в ги­га­гер­цах, те­ра­бай­тах и ал­го­рит­мах.

Про удаленную работу

Декабрь 06, 2013, 12:15

Про­чи­тал книж­ку RE­MOTE от 37sig­nals. Книж­ка по­свя­ще­на во­про­сам ор­га­ни­за­ции уда­лен­ной ра­бо­ты. На­пи­са­на на их соб­ствен­ном опы­те су­ще­ство­ва­ния в усло­ви­ях ко­гда боль­шая часть шта­та ком­па­нии гео­гра­фи­че­ски на­хо­дит­ся да­ле­ко друг от дру­га. Книж­ку ре­ко­мен­дую, мне очень по­нра­ви­лась.

В этом де­каб­ре ис­пол­ни­лось 6 лет как я сам ра­бо­таю из дома, и чем даль­ше тем боль­ше мне это нра­вит­ся. Опы­та ру­ко­вод­ства гео­гра­фи­че­ски рас­пре­де­лен­ных ко­манд у меня нет, но опыт ра­бо­ты в та­ких ко­ман­дах есть, и вот в честь юби­лея моей до­маш­ней ра­бо­ты (10 в ше­сти­рич­ной си­сте­ме счис­ле­ния, в сле­ду­ю­щем году бу­дет 10 в се­ми­рич­ной, очень удоб­но) я бы хо­тел по­де­лит­ся сво­им опы­том.

Про сто­я­ние с кну­том

По мо­е­му опы­ту, боль­шин­ство по­тен­ци­аль­ных ме­не­дже­ров за­ду­мы­ва­ю­щих­ся об ор­га­ни­за­ции уда­лен­ной ра­бо­ты, боль­ше все­го пе­ре­жи­ва­ют что без сто­я­ще­го над ду­шой на­чаль­ни­ка с кну­том ра­бо­та во­об­ще сде­ла­на не бу­дет. Гос­по­да, ну это пол­ная ерун­да, как буд­то в офи­се мало воз­мож­но­сти ни­че­го не де­лать. Даже по­пыт­ки за­кры­вать до­ступ к раз­ным там од­но­класс­ни­кам и вкон­так­там при­во­дит про­сто к ро­сту до­сту­па к ним с мо­биль­ных. Сей­час, я так по­ни­маю, доля та­ких поль­зо­ва­те­лей соц­се­тей из­ме­ря­ет­ся де­сят­ка­ми про­цен­тов. И там очень мно­го вот как раз та­ких, ра­бо­та­ю­щих в ком­па­ни­ях с огра­ни­чен­ным ин­тер­не­том. До­ду­ма­лись ли где-то уже от­би­рать со­то­вые в на­ча­ле ра­бо­че­го дня я не знаю. Но ра­бов к га­ле­ре луч­ше все­го сра­зу це­пью при­ко­вы­вать.

Вы­пол­не­ние со­вре­мен­ной ра­бо­ты, осо­бен­но в IT, осо­бен­но у про­грам­ми­стов, со­вер­шен­но три­ви­аль­но от­сле­жи­ва­ет­ся про­сто по фак­ту вы­пол­не­ния нуж­ной ра­бо­ты. За эти 6 лет ни разу ни­ко­го не за­ин­те­ре­со­ва­ло в ка­кое вре­мя я ра­бо­таю или сколь­ко ча­сов про­во­жу за мо­ни­то­ром или как ча­сто за­хо­жу в соц­се­ти. Во­прос был толь­ко один — как дви­жет­ся ра­бо­та.

Про са­мо­мо­ти­ва­цию

Об­рат­ная сто­ро­на преды­ду­щей ме­да­ли. «Если меня не пи­нать по­сто­ян­но, я и де­лать ни­че­го не буду», — рас­про­стра­нен­ная мысль мно­гих на­ем­ных ра­бот­ни­ков. Это, на са­мом деле, до­воль­но се­рьез­ная про­бле­ма. Раз­би­рай­тесь за­чем вам нуж­на ра­бо­та и ка­кая она долж­на быть, мо­жет удаст­ся най­ти хоть ка­кую-то по­ло­жи­тель­ную мо­ти­ва­цию чтоб ее вы­пол­нять, или сме­нить ра­бо­ту на ту что боль­ше по душе. С мо­ти­ва­ци­ей ос­но­ван­ной на стра­хе жить не очень при­ят­но. Как кра­е­вед го­во­рю.

Про на­сто­я­щие труд­но­сти

Един­ствен­ная боль­шая про­бле­ма с ко­то­рой лич­но я столк­нул­ся за эти годы — это де­фи­цит об­ще­ния. Если из дома вы­хо­дишь толь­ко в ма­га­зин, да еще и до­маш­ние куда-ни­будь разъ­е­ха­лись, на­чи­на­ешь на­ту­раль­но ди­чать. В офи­се хоть кол­ле­ги есть, и по пути на ра­бо­ту и с ра­бо­ту ка­кое-ни­ка­кое об­ще­ние, жи­вых лю­дей ви­дишь. А тут надо се­рьез­но ду­мать что де­лать. По­мо­га­ют раз­ные там хоб­би, я, на­при­мер, два­жды в неде­лю со­би­раю неболь­шую груп­пу за­ни­ма­ю­щих­ся ци­гун у себя дома, вме­сте за­ни­ма­ем­ся, по­том чай пьем. И поль­за от ци­гу­на и поль­за от об­ще­ния.

Про фи­зи­че­скую на­груз­ку

Это тоже про­бле­ма. Ко­гда рас­сто­я­ние кро­вать-кух­ня-ком­пью­тер в сум­ме мет­ров 20, фи­зи­че­ская фор­ма сами по­ни­ма­е­те ка­кая ста­но­вит­ся. 37sig­nals пи­шут, что они даже ком­пен­си­ру­ют рас­хо­ду на фит­нес клу­бы для сво­их ра­бот­ни­ков — за­ме­ча­тель­ная идея.

Тут мне, надо ска­зать, нечем по­хва­стать­ся, я что-то де­лаю в смыс­ле спор­та, но это­го явно мне недо­ста­точ­но. Про­дол­жаю ра­бо­тать над этим во­про­сом.

Про ор­га­ни­за­цию ра­бо­че­го ме­ста

Тут мне на­ту­раль­но по­вез­ло, у меня есть воз­мож­ность дома одну ком­на­ту за­нять под ка­би­нет где я и ра­бо­таю. В RE­MOTE пе­ре­чис­ля­ют­ся раз­ные ва­ри­ан­ты где мож­но еще ра­бо­тать: кафе, ко­вор­кинг цен­тры и т.п. Я пока не про­бо­вал, мне дома нор­маль­но.

С ин­тер­не­том сей­час тоже все за­ме­ча­тель­но. Пе­ри­о­ди­че­ски я в де­рев­ню уез­жаю, там нет воды в кране (как и са­мо­го кра­на), нет ка­на­ли­за­ции, до­рог тоже мож­но ска­зать что нет, но быст­рый ин­тер­нет в те­ле­фоне там есть, та­кой вот из­гиб тех­ни­че­ско­го про­грес­са.

Про плю­сы

Мно­го вре­ме­ни вы­сво­бож­да­ет­ся. Ни­ка­ко­го пе­ре­пол­нен­но­го об­ще­ствен­но­го транс­пор­та (или сто­я­ния в проб­ках), где и те­ря­ют­ся эти 1-2-3-… часа в день у офис­ных ра­бот­ни­ков.

Ра­бо­чее ме­сто ор­га­ни­зо­ва­на как угод­но по соб­ствен­но­му вку­су. Хо­ро­ший мо­ни­тор, кла­ви­а­ту­ра, крес­ло.

Ра­бо­чее вре­мя вы­би­ра­ет­ся по вку­су. Мож­но хоть в 6 утра на­чать ра­бо­тать и к обе­ду все пе­ре­де­лать, мож­но рано утром часть ра­бо­ты, по­том еще немно­го ве­че­ром. В се­ре­дине дня мож­но в ма­га­зин схо­дить, а не тол­кать­ся там в 19 ча­сов ко­гда туда все по­сле офис­но­го ра­бо­че­го дня при­хо­дят.

С се­мьей боль­ше вре­ме­ни про­во­дишь. Папа ко­неч­но днем за­нят и ра­бо­та­ет, но ино­гда от­влечь мож­но.

Пи­тать­ся мож­но вкус­ной до­маш­ней толь­ко что при­го­тов­лен­ной едой, а не в непо­нят­ных ка­феш­ках и сто­ло­вых.

Про хо­ро­шо

Я, как и ав­то­ры книж­ки RE­MOTE, счи­таю что чем даль­ше тем боль­ше лю­дей бу­дет уда­лен­но ра­бо­тать. Плю­сов мно­го, ми­ну­сов мало.

Если вы ра­бо­то­да­тель, про­чи­тай­те RE­MOTE и по­ду­май­те об ор­га­ни­за­ции уда­лен­ной ра­бо­ты у себя.

Если вы ра­бот­ник, про­чи­тай­те RE­MOTE и аги­ти­руй­те сво­е­го ра­бо­то­да­те­ля на­чать ор­га­ни­за­цию уда­лен­ной ра­бо­ты. Мож­но вот как раз с вас.

UPD: В из­да­тель­стве «Манн, Ива­нов и Фер­бер» вы­шел рус­ский пе­ре­вод кни­ги.

Игры разума

Март 01, 2007, 00:54

Я сей­час чи­таю кни­гу Оли­ве­ра Сак­са "Че­ло­век, ко­то­рый при­нял жену за шля­пу". Кни­га в жан­ре до­ку­мен­таль­ных ме­ди­цин­ских но­велл. Оли­вер Сакс – врач нев­ро­лог из США, опи­сы­ва­ет внут­рен­ний мир сво­их па­ци­ен­тов, боль­шин­ство из ко­то­рых, с обыч­ной точ­ки зре­ния яв­ля­ют­ся ум­ствен­но непол­но­цен­ны­ми. Но ав­тор по­ка­зы­ва­ет внут­рен­ний мир сво­их па­ци­ен­тов, как мир со­вер­шен­но осо­бой, не по­нят­ной "нор­маль­ным" лю­дям гар­мо­нии и кра­со­ты. Вот от­ры­вок про двух ум­ствен­но непол­но­цен­ных близ­не­цов, об­ла­да­ю­щих фе­но­ме­наль­ной па­мя­тью и необъ­яс­ни­мы­ми ма­те­ма­ти­че­ски­ми спо­соб­но­стя­ми (всем су­ма­сшед­шим ма­те­ма­ти­кам по­свя­ща­ет­ся :) ):

(далее...)

Сергей Лымарь © 2005-2014, Все права защищены.