= Сообщение: 519 из 2655 =================================== RU.BLOG.MITHGOL =
От : Mithgol the Webmaster 2:50/88 19 Aug 14 18:48:40
Кому : All 19 Aug 14 18:48:40
Тема : Задача экспорта вопросов и ответов с сайта Formspring (Spring.me)
FGHI : area://RU.BLOG.MITHGOL?msgid=2:50/88+53f363f4
= Кодировка сообщения определена как: CP866 ==================================
==============================================================================
Как известно, 1 ноября 2009 года был запущен сайт Formspring, позволявший
получать вопросы (в том числе анонимные) и отвечать на них таким образом,
что видны были только те вопросы, которые получили ответ ── остальные вопросы
можно было стирать или просто откладывать до поры до времени ответ на них, но
видны они до момента ответа не были.
Сайт Formspring пользовался достаточно большою популярностью, у него появились
конкуренты (например, Ask.fm был запущен 16 июня 2010 года), даже и сам я завёл
себе учётку на Формспринге, например.
Весной 2013 года Формспринг объявил о том, что закрывается, то есть что будет
прекращено задание вопросов (после 31 марта 2013 года), а после середины апреля
(15 апреля 2013 года) сайт и вовсе будет потёрт. Пользователям сайта изложили
предложение экспортировать с сайта все их данные, чтобы они не потерялись.
И надо сказать, что экспортирование работало далеко не у всех. Вы можете видеть
по адресу https://twitter.com/withoutbonnie/statuses/318445986966024193 пример
разочарованной микроблогозаписи в Твиттере о том, что экспорт из Формспринга
не заработал. Возможно, это потому, что экспортировать данные кинулись сразу
все пользователи; в статье http://techcrunch.com/2012/01/09/formspring/ число
пользователей Формспринга годом ранее (ещё в начале 2012 года) считалось равным
28 миллионам, а к весне 2013 года их количество должно было ещё более возрасти.
Причём на экспортирование давалась одна попытка, так что у кого скрипт экспорта
(перегруженный толпою желающих) не сработал, тот навсегда должен быть страдать
от этой неудачи.
Хорошая же новость состоит в том, что той весною Формспринг не был закрыт,
а был продан новому управляющему. Теперь он располагается по новому адресу
http://spring.me/ и снабжён новым дизайном. То есть даже если у кого-нибудь
экспорт не сработал, то вопросы и ответы всё же остались, просто оказались
перенесёнными на этот новый адрес, на этот новый сайт.
Плохая новость состоит в том, что дизайн стал неудобнее прежнего, то есть
что экран у посетителя Spring.me сильнее загромождён (панелями управления,
корешками вкладок, статистическими данными, и так далее), чем это было бы
на прежнем Формспринге.
Возникает поэтому желание с этого сайта уйти. И это желание я исполнил ──
с октября 2013 года не отвечал там ни на какие вопросы. Можно заметить, что
некоторые другие авторы ответов также это желание исполнили так или иначе:
Холмогоров ушёл на ask.fm и теперь по адресу http://ask.fm/holmogorov раздаёт
ответы, Машин ушёл на ask.fm и теперь по адресу http://ask.fm/alexmashin
раздаёт ответы (но, в общем-то, довольно редко отвечает, и притом по адресу
http://ask.fm/alexmashin/answer/39643532854 высказал мнение, что вся площадка
пришла в упадок ── словом 'площадка' обозначая, по-видимому, не один какой-то
сайт, а всю движуху вопросов и ответов в целом). А лучше всех устроил свои дела
Крылов, потому что он завёл (при помощи неназванного программиста) по адресу
http://krylov.cc/fansw.php свой собственный сайт для ответов на вопросы (или,
точнее говоря, отдельный специальный раздел на собственном сайте).
Понятно, что всё это новые площадки, и отвечать на вопросы поневоле также
пришлось с нуля большинству ушедших. Так что надо бы сказать, что возникало-то
не только желание уйти с Формпринга, но и желание забрать с собою все ранее
данные на Формспринге ответы на вопросы.
Какое-то время желание это оставалось совершенно неудовлетворимым, потому что
адрес http://www.formspring.me/account/export (по которому находился интерфейс
экспортирования данных; новость http://thenextweb.com/insider/2013/03/15/qa/
упоминает именно этот адрес, например) после переезда Формспринга совершенно
перестал работать. Получается, что никак экспортировать данные было уж нельзя.
Я, правда, не терял надежды на то, что эта ситуация рано или поздно как-нибудь
разрешится к лучшему благодаря созидательной силе сообщества программистов,
работающих над созданием и развитием открытого и свободного исходного кода.
И сегодня по адресу https://github.com/marblecode/springme_dump-reveal я нашёл
на Гитхабе код (на языке Python) одного автора (вероятно, испанца), способный
экспортировать вопросы и ответы с сайта Formspring. Код этот был сочинён (как
на странице https://github.com/marblecode/springme_dump-reveal/commits/master
нетрудно видеть) 27 февраля нынешнего (2014) года, а 22 мая чуть изменён.
Могу признаться, что я не великий специалист по языку Python, тем не менее мне
и не надо быть великим специалистом, чтобы углядеть в этом коде строчку
https://github.com/marblecode/springme_dump-reveal/blob/07118/questions.py#L56
с указанием интернетовского адреса API Формспринга.
Оказывается, у Формспринга есть API, позволяющий запросить через Интернет
список ответов на вопросы, причём для неанонимных вопросов указываются также
некоторые сведения об авторе вопроса, а не только текст. Вышеупомянутый код
запрашивает ответы в формате XML ── например, мои собственные ответы можно
по адресу http://beta-api.formspring.me/answered/list/Mithgol.xml получить.
API выдаёт только двадцать ответов на вопросы, но у API можно запрашивать
и более ранние ответы, взяв числовой идентификатор последнего из полученных
ответов (например, 484816272303881854) и указав его как значение параметра
before ── вот, например:
beta-api.formspring.me/answered/list/Mithgol.xml?before=484816272303881854
(Такой запрос позволяет получить ещё 20 ответов, непосредственно предшествующих
тому ответу, который имеет указанный идентификатор.)
А методом тыка мне удалось установить также, что от API Формспринга можно
получить ответ не только в формате XML, но и в формате JSON, гораздо более
удобном для последующего анализа на языке JavaScript. Вот пример JSON:
http://beta-api.formspring.me/answered/list/Mithgol.json?before=2258306542
Пример этот показывает, однако же, что русские буквы возвращаются в формате
\uXXXX (где XXXX ── шестнадцатеричный код буквы по стандарту Unicode); такой
формат ответа (чрезмерно объёмный) был выбран, вероятно, потому, что сервер
beta-api.formspring.me вовсе не указывает никакую кодировку в заголовке своего
HTTP-отклика, когда он отдаёт JSON. (Анализу JSON это, впрочем, не помешает;
а вот для чтения человеком вместо компьютера такой JSON подходит гораздо хуже.)
При виде такого API возникает, разумеется, желание воспользоваться им, взять
с сайта Формспринга все свои ответы на вопросы. Чтоб не возёхаться с чужим
кодом на языке Python, я сочиню, чего доброго, собственный джаваскриптовый
модуль для этой цели, если только будет у меня время для этого.
Приходится нервничать при виде адреса beta-api.formspring.me этого сервера.
Если API находится в состоянии beta, то API могут ведь и сменить без всякого
предупреждения. Если сайт находится в старом домене (а не в новом spring.me),
то его могут вообще переименовать или закрыть. Кто знает, сколько ещё времени
осталось до исчезновения и этой возможности экспорта.
После того, как я обнаружил всё вышеизложенное, пошарил ещё и на Хабрахабре,
и что же? оказалось, что API Формспринга рассматривался там 5 июня 2012 года
по адресу http://habrahabr.ru/post/144868/ более подробно, даже с примерами
на языке PHP. Однако же тот сайт, на который эта хабрахабровская блогозапись
ссылается как на источник документации об API, закрыт уж.
В той блогозаписи сказано, что расширение .json можно не дописывать, так как
JSON придёт по умолчанию. Я проверил и убедился, что это мнение справедливо:
http://beta-api.formspring.me/answered/list/Mithgol?before=484816272303881854
Это упрощает дело, хотя и не слишком.
Понятно также, что даже если проблему удастся решить в полном объёме (то есть
утянуть с сайта Formspring ответы как мои собственные, так и любого другого
пользователя), то останется ещё вопрос о том, куда эти ответы девать. Движки
сайтов, подобных Формспрингу, имеются в виде открытого и свободного исходного
кода, https://github.com/akirk/askme или https://github.com/nilsding/justask
могут послужить примером. Однако нет такого, чтобы была возможность поставить
движок, а затем в базу ему залить готовые ответы за несколько лет. То есть нет
готовых скриптов для импорта результатов экспорта. Их также придётся сочинять.
Приходится сожалеть о том, что Крылов хотя и завёл (при помощи неназванного
программиста) по адресу http://krylov.cc/fansw.php собственный сайт для ответов
на вопросы, но код этого сайта не открыл. Впрочем, вполне вероятно, что автор
того сайта трудился не за деньги, а из уважения ко Крылову, каковое уважение
отнюдь не питает ко всем потребителям открытого исходного кода в целом; или же,
напротив, трудился за деньги, и потребовал бы куда больше денег (быть может,
даже и неподъёмную цену), кабы пришлось ему открыть и освободить код свой.
Также мы можем подозревать, что автор кода сайта Крылова веровал в принцип
'security through obscurity' ('тайна как залог безопасности'), или же хотя бы
подозревал, что открытие кода может привести к обнаружению ошибок в нём, затем
ко взлому сайта и к умалению репутации Крылова.
Однако же кто-то такой открытый исходный код со временем напишет; быть может,
даже и я, хотя повозиться там придётся куда более, чем в случае с экспортом,
так что даже уж и не знаю, найдётся ли у меня время для этого (и в ущерб чему
найдётся оно, если найдётся).
Фидонет будет великим и гипертекстовым! [Ru.Mozilla] http://Mithgol.Ru/
Mithgol the Webmaster. [Братство Нод] [Team А я меняю subj]
... Привлекайте хоть самого Господа Бога! (Виктор Степанович Черномырдин)
--- Злодею твит худая месть: невидимый отныне весь - но, ДМБшный суслик, есть!
* Origin: Помните ли?! ── в уголке сидело человек десять вьетнамцев (2:50/88)
|
