Вы здесьДруги, а есть ли среди нас программеры умелые ?
Опубликовано ср, 14/05/2008 - 10:37 пользователем Kuguar
Други, а есть ли среди нас программеры умелые ? Может собраться и написать распределенную систему в стиле осла (dunkey, emule), но Для тех, кто не в теме, могу сказать что штука особенна удобна тем, что невозможно
|
Вход на сайтПоиск по блогам и форумамUser menuПоследние комментарии
Aliki RE:Подайте бедному копеечку на книжку с литреса... 2 часа
Isais RE:Таинственная личность админа Флибусты 3 часа babajga RE:Сказки бабушки Черепахи 10 часов babajga RE:Свист диких крыльев 10 часов Саша из Киева RE:Кто сможет раздобыть и оцифровать нужные мне книги? 1 день Саша из Киева RE:Турецкие мусорщики в Анкаре открыли библиотеку, полную... 6 дней Isais RE:Не тот автор 2 недели xieergai60 RE:Продление подписки 2 недели TaKir RE:Валерия Сергеевна Черепенчук А. Н. Николаева - Мифы... 2 недели Isais RE:Древняя Греция. Читаем... 2 недели laurentina1 RE:Ирина Александровна Велембовская - Немцы 3 недели Саша из Киева RE:Избранное 4 недели Alligatoreader RE:Багрепорт - 2 4 недели fedor.de RE:Отображение страницы Librusek 1 месяц Isais RE:Чиполь Сергеевич Наглецов - Огненный дракон [СИ] 1 месяц blahblahblah2024 RE:Беженцы с Флибусты 1 месяц sem14 RE:Что читать о блокаде Ленинграда. Подборка книг 1 месяц sem14 RE:Михаил Юрьевич Берг - Андеграунд. Итоги. Ревизия_5 1 месяц Впечатления о книгах
Саша из Киева про Сеф: Золотая шашка (Детская проза)
19 12 Моя огромная благодарность тому, кто разместил в Интернете распознанный текст этой книги! Это книга моего детства!
neletay про Шульц: Мой друг - домовой (Юмористическая фантастика, Фэнтези, Самиздат, сетевая литература)
19 12 На удивление, прочитала с удовольствием. Добрая и забавная история. Только корректор нужен.
decim про Капустин: История нашей еды. Чем отличались продукты советского времени от сегодняшних [litres] (История, Кулинария)
19 12 Не ругайте сгоряча. Книга годится как памятник эпохи. С учётом того, что пожилой автор работал в высших сферах и некоторые обычные безобразия для него на уровне ЧП. В идеале и вскоре после открытия(или ревизии) в ресторане ………
decim про Антоновский: Русские супергерои (История, Биографии и Мемуары, Научпоп)
19 12 Усишки монархии навалили кучу дайджестов для жертв попсы. Аффтар, "рус" означало не "воин", а "гребец", человек весла. Морской труд необходим, без него герой никуда бы не добрался. Даже, как в нашем случае, с попутным ветром. ……… Оценка: нечитаемо
Foset про Евфросиния Антоновна Керсновская
18 12 Да, Фрося бой-баба была, конечно. Но "дура отпетая", как она сама писала про характеристику близких. Сама голову засунула в это пекло, чего-то упырям всё доказать пыталась. Надо было сразу рвать в Румынию вместе с матушкой, ………
Alexandr A.Shpilman про Измайлов: Неправильный лекарь. Том 2 (Городское фэнтези, Попаданцы, Самиздат, сетевая литература)
18 12 Против ГГ готовятся применит магию... а тот тупо стоит манекеном... Ну один раз... а потом возникает мысль бросить такое чтение...
Лысенко Владимир Андреевич про Матвеев: Ниочёма-3 [СИ] (Юмор: прочее, Городское фэнтези, Попаданцы, Самиздат, сетевая литература)
18 12 Прочитал все три книги, легкое, расслабляющее чтиво. Оценка: отлично!
Barbud про Большаков: Целитель. Книга 10 (Боевая фантастика, Попаданцы, Самиздат, сетевая литература)
17 12 Есть авторы, которые не дописывают свой цикл, а есть те, что остановиться не могут, Большаков из вторых. Так и хочется сказать: "Горшочек, не вари!". Оценка: плохо
decim про Чапман: БондиАнна. В Россию с любовью (Биографии и Мемуары)
17 12 Ну, как поплавала?(с) Нечитаемо. |
Комментарии
Re: Други, а есть ли среди нас программеры умелые ?
Как я понял - предлагается делать по принципу р2р?
Тогда проблемой является сравнительно небольшое кол-во пользователей, по сравнению с теми же торрентами, ослами и прочими.
Хотелось бы уточнить, если есть у кого : имеется ли возможность сделать некую надстройку на базе существующего ПО?
П.с. Количество фрагментов роли не играет. Равно как и кол-во компов. Все равно "распространение".
Re: Други, а есть ли среди нас программеры умелые ?
Это интересный вопрос и я уже поднимал его на Мембране.
Т.е. до какой степени фрагментирования действуют авторские права ?
Предположим крайний случай, что каждый фрагмент это одно слово. Является ли защищеным копирайтом ОТДЕЛЬНОЕ слово произведения ? А таблица ссылок на IP адреса и индексы ?
Ведь в результате скачивания всех этих ссылок получается некий текст.
Но это теория, а на практике нарушение происходит только на первом этапе, т.е. на этапе отправки текста в систему. Но механизм работы не позволяет отследить источник, если не ведется наблюдение за большинством компьютеров системы в момент отправки.
Внесу немного критики
Существующие схемы p2p подразумевают уникальность файлов. В случае же библиотеки мы имеем регулярные исправления книг, а значит множественность версий. Т. е. через полгода в вашей сети будет по 15 вариантов одной книги разной степени откорректированности, не говоря уже о форках корректировки.
Это проблема.
Re: Внесу немного критики
Ну почему, исправления могут ходить отдельно в виде diff
Т.е. схема может редуцироваться до следующей - скачивается ПУСТОЙ файл нужного имени, а затем к нему скачиваются diff'ы , пока не будет достигнут некоторый критерий готовности. Например отсутствие diff с большим индексом или датой.
Тут только нужно предусмотреть механизм слияния и поглощения diff.
Re: Внесу немного критики
В каждой версии книги (если взять четкий стандарт), вполне может быть версия. И тогда все "устаревшие" файлы будут автоматом обновляться после появления новой версии.
Однако для всего этого требуется централизация. Что подразумевает уязвимость.
В данный момент, проще наращивать контент, одновременно его улучшая и, при необходимости, структурируя. В случае безвременной кончины Либрусека (тьфу-тьфу-тьфу на соседа слева), любой выкачавший все книги+движок, может запустить Либрусек-2.
Поскольку, несмотря на все сотрясания воздуха, ЛитРес не может что-то сделать Ларину (деньги там крутятся совсем небольшие), то я скромно считаю особую панику излишней.
Система разделенной библиотеки - неплоха. Однако пока затрат на нее больше, чем потребности.
Re: Други, а есть ли среди нас программеры умелые ?
А чем обычный DC++ не устраивает, сделать хаб в том же Эквадоре и живите радуйтесь, поисковая система там что надо да и каждый просто выложит у себя литературу что есть в наличии и все пучком.
Re: Други, а есть ли среди нас программеры умелые ?
Обязательным наличием сервера, на который можно наехать или заDoSить.
Отсутствием анонимности, т.е. кто угодно по пути роутинга может отследить,
кто и что именно скачал.
Re: Други, а есть ли среди нас программеры умелые ?
В минимально-упрощенном виде все может выглядеть так:
Сохраняемому в системе файлу присваивается некий произвольный 32 битный идентификатор.
Весь файл режется на небольшие, менее 1 кБ фрагменты. Фрагменты компрессируются
чем либо простым и текстово-ориентированным. Возможно шифруются.
Каждому фрагменту считается
16 битная чек-сумма, которая будет являться его идентификатором.
К каждому фрагменту дописывается заголовок в котором присутствует идентификатор файла,
идентификатор этого фрагмента и несколько N (8..32) идентификаторов следующих
(возможно и предыдущих) фрагментов.
Т.е. имея любой фрагмент файла можно составить УНИКАЛЬНЫЙ запрос на следующий фрагмент,
из идентификатора файла и N-1 идентификаторов следующих (предыдущих) фрагментов.
Т.е. идентификатор запроса имеет длинну не менее 128 байт, что с высокой степенью гарантирует
его уникальность.
Создается заголовочный фрагмент. Он содержит открытые данные о файле, т.е. название,
автора и пр. что позволяет производить поиск файлов по неполным маскам.
Так же в нем содержутся идентификатор файла и несколько последовательностей идентификаторов
фрагментов. Т.е., к примеру, последовательность от начала и от середины.
Это позволяет производить распараллеливать поиск и сборку фрагментов.
На каждом узле имеется локальная база данных фрагментов.
Размер базы задается пользователем, а содержимое обновляется по востребованности.
Так же имеется динамическая таблица доступных в текущий момент узлов сети.
Тут есть проблема, как инициализировать ПУСТУЮ таблицу.
Т.е. надо знать изначально хоть один адрес или иметь сервера, откуда их получать.
При запросе файла просматриваются на совпадение заголовочные фрагменты в локальной базе,
затем рассылаются запросы на узлы из списка.
При получении ответа от узла в нем содержится рандомайзный набор из видимых от него узлов.
Узел, получивший ответ, обновляет/заменяет содержимое своей таблицы и продолжает поиск.
Таким образом, через некоторое число циклов, будет опрошена большая часть сети.
Получив положительный ответ, т.е. заголовочный фрагмент удовлетворяющий требованиям,
аналогично получаются все фрагменты данного файла.
Тут возможно сделать многоуровневый транзитный поиск, т.е. узел получивший запрос сам
пытается найти этот фрагмент и так далее. Но тут есть проблемы...
При простое, сервер периодически запрашивает рандомайзные фрагменты и по ответам
обновляет как список видимых узлов, так и базу данных фрагментов.
Есть нюансы - организовывать сие лучше не по TCP а по UDP, что снимает накладные расходы на
установление соединения и позволяет производить анонимизацию отвечающего узла.
Так как каждый цикл запроса-ответа самодостаточен, то IP адрес отвечающего может вообще
отсутствовать в IP пакете.
Re: Други, а есть ли среди нас программеры умелые ?
Файлы маленькие. С огромной вероятностью файл будет получаться целиком от одного источника.
Re: Други, а есть ли среди нас программеры умелые ?
Во первых логично будет сделать обязательную замену адреса ответившего узла на
один из списка присланных от него.
Во вторых, специально от нехороших людей, которые так не делают, есть механизм.
В связи с динамическим самообновление локальных баз, с высокой степенью вероятности
там не будет других, а уж тем более всех, фрагментов данного файла.
Вообще, в логику обновления, не плохо бы ввести запрет на одновременное хранение нескольких фрагментов с общим ID файла. Т.е. в идеале, базе тысяча фрагментов от тысячи
различных файлов.
Re: Други, а есть ли среди нас программеры умелые ?
вот это круууто)))
Re: Други, а есть ли среди нас программеры умелые ?
чего сказал? :) запрет на одновременное хранение нескольких фрагментов одного файла? Ты предлагаешь держать людям на винте не живую библиотеку, а кучу разных фрагментов? Больше 5 энтузиастов не найдешь отдать сотню гиг под неиспользуемую базу.
Про замену адреса тоже не понял.
Re: Други, а есть ли среди нас программеры умелые ?
База сегментов не имеет никакого отношения к библиотеке,
можно рассматривать ее как кеш, если так проще для понимания.
Это средство безопасного обмена, а не средство локального хранения
Сотни гиг, это только если фильмы хранить этим методом.
По моим оценкам, для надежного хранения всех русскоязычных текстов,
в сети из 100 узлов, каждому достаточно выделить по 2гБ.
Т.е. если в виде текстовой библиотеки, то несколько десятков гигабайт максимум.
С таблицей адресов узлов дело обстоит так:
Каждый приходящий от других узлов фрагмент содержит в себе некоторое
количество адресов, из таблицы ответившего узла, помеченные у него как ответившие.
Каждый адрес сверяется с текущей таблицей на предмет отсутствия дублирования.
Затем, при наличии свободного места, он просто заносится в таблицу.
При отсутствии места он заменяет уже имеющиеся адреса начиная с тех, которые
помечены как не отвечающие, затем тот адрес, с которого пришел данный список,
а затем рандомайзно все остальные.
Т.е. при нормальной работе, с высокой степенью вероятности, к каждому адресу в таблице
будет производиться 1..2 запроса, после чего он будет удален из списка и заменен на другой.
Re: Други, а есть ли среди нас программеры умелые ?
данная библиотека уже перевалила за 100 гиг. Всего-же у меня на данный момент около 500 гигабайт книг. Для того, чтобы с высокой вероятностью каждый фрагмент библиотеки был доступен, необходима многократное перекрытие. Я так примерно оцениваю его в 10 раз. Но это чисто интуитивно. То есть для того, чтобы все 500 гигабайт были доступны в любое время надо суммарно выделить под кеши не менее 5Тб. Не, мне кажется в таком виде это нежинсеспособно.
Гораздо проще и в реализации в целом и в психологическом плане - это просто расшаривать уже лежащие на винте книги. Да, в таком виде теряется та самая теория о том, что раздаются исключительно фрагменты и это не подвластно законам о копирайте, но с другой стороны - торрент-сервера вообще не содержат никаких фрагментов. Однако имеют большие проблемы с законом. Пособничество. Так и тут. Не важно, что ты раздал фрагмент. Если это помогло мне незаконно получить копирайтный материал, то ты уже виноват. Дальше только вопрос суда, чью сторону он примет. И лично я в суд с такими аргументами не пойду.
Re: Други, а есть ли среди нас программеры умелые ?
Многократное дублирование, однако...
Вся русскоязычная литература в текстовом виде не дотягивает до 100гиг.
Вся читаемая литература менее 10 гиг.
Т.е. 10гиг при 10 кратном дублировании на 100 узлах дают 1гиг.
Расхождение у нас только необходимом в объеме хранения.
Но это тема для отдельного топика, т.е. автоматизация сравнения, фильтрации и коррекции похожих текстов. Это тоже входит в круг моих интересов :))
Так как в предлагаемой мной системе по ряду соображений отсутствует механизм удаления файлов, то должен быть альтернативный метод очистки.
Наиболее приемлемым я считаю метод удаления не востребованных определенное время фрагментов. Деталей я пока касаться не буду, но в общих чертах это означает, что если емкость распределенной базы данных считается недостаточной и какой либо файл не востребован достаточно долгое время, то он удаляется.
Но тут все динамически. Если пользователей мало, то или файлы будут удаляться часто или нужно локальные базы увеличивать. Если пользователей много, то при достижении некоторого порогового значения емкости, файлы вообще не будут удаляться.
Расшарка дело простое, но наехать могут. Причем достаточно нескольких громких показательных наездов и все затихарятся. Мне и сейчас как то смурно расшаривать, хотя и серваки есть и с местом на них проблем нет. Пиринг тоже не совсем то, так как при получении физического доступа к серверу, на нем в открытую лежит конрафактное файло.
Еще одним уровнем преодоления закона может быть разделение каждого сегмента на пару, образующего истинные данные при XORе. Хранение и раздача такой половинки никак не контрафакт, так как к ней без всякого труда можно сделать половинку для генерации чего угодно. Хоть частушек, хоть закона о интеллектуальной собственности.
Пособничество, тоже не катит так как завсегда можно крупными буквами написать "программа предназначена только для легального копирования", как на Alcohol, к примеру.
Остаются только тупые наезды на узеров, но это смешно. Примерно как охотиться с молотком на комаров.
Наибольшей проблемой мне представляется во первых, инертность пользователей. Но сие решаемо, т.к. для раскрутки можно запустить несколько специализированных больших серверов с базами. Соответственно что бы с них тянуть, узеры будут ставить клиента.
Во вторых факт, что большинство узеров сидят под маскарадингом, что делает прямой запрос проблематичным. Тут думать надо :((
Re: Други, а есть ли среди нас программеры умелые ?
Ты не прав, друже - если бы так было, то все ISP и сетевые компании загремели бы из-за того что _помогали_ раздачи нелегального контента перекидывая пакеты.
Или обычную почту можно осудить, если она переносила чего-то нелегальное кому-то.
Только за транзит ничего /пока/ не сделают.
Если считаешь что не так, дай ссылки на закон или прецеденты.
Re: Други, а есть ли среди нас программеры умелые ?
за транзит - нет. Но ведь тут ты не транзит, а вполне себе источник.
Да и вопрос тут проще - доказывать в суде можно по-всякому. Понятное дело, что если подать в суд на ISP, то они пойдут в суд. И будут доказывать. И не ясно как всё повернется (в Канаде уже были суды, в Европе были... были решения, были апелляции, черт ногу сломит). Но если вызовут в суд меня, то я постараюсь туда не пойти. Ибо с вероятностью в 98% проиграю. Просто потому, что у гадов(тм) адвокат будет лучше. А оно мне надо?
Закон - читай DMCA. Там много плохого написано. По этому закону можно посадить любого.
Прецеденты - torrentspy, например. Простой поисковик торрентов. Ваще ничего не делал, никаких копирайтных материалов, никаких кусочков, ничего. 100 лимонов (или сколько там) просрал в суде. За здорово живешь.
Re: Други, а есть ли среди нас программеры умелые ?
В том то и дело что тот кто тебе передал кусочек файла в такой системе, только транзит /минимум на 1-2 хопа/; т.е. етот кусочек никогда не хранится у того кто его тебе непосредственно посылает.
И ты "источник" не больше, чем ISP или почта - "источник" запрещенных файлов или вещей.
Так что ты - только транзит. И ето можно доказать, например, через сорцов программы;)
Еще неизвестно как оно будет. А в суд вызвать можно за что угодно;)
А интересно как не пойдешь если вызвали? Споразумеешься внесудебно?;)
Так вообще можно посадить любого. Даже за того что ты тут сидишь;) И не только по DMCA.
Испугался?:) У тебя 100 милионов есть?;)
Торентспай, пусть и поисковик - было совершенно ясно какова его роль, и линки к каких файлов раздает. Так что чем они конкретно занимаются было предельно ясно, пусть и файлы у них не хранятся.
В системе про которой идет речь, нельзя узнать что именно ты качал или посылал (mp3, fb2, или сорцы линукса) и вообще чем занимался, не имея доступ к твоего компютера. Все что можно на самом деле доказать со стороны - ето просто что у тебя анонимайзерная система чья программа ПЕРЕсылала получателю транзитно, неизвестно с кого, куски етих "запрещенных" файлов.
Анонимайзерные системы пока еще не вне закона.
Да даже если у тебя простой P2P клиент который посылает прямо, в принципе должны они доказать что ето именно ты слал, а не твой ребенок например или соседи через твой WiFi (как и доказывали в тот случай когда судили так как было видео).
Иначе ты прав, засудить могут за что угодно. Даже за обычной шифровке данных /правда ето пока только в США/.
И адвокаты у Них лучше. И денег у Них больше.
И "Повинную голову и меч не сечет "
Re: Други, а есть ли среди нас программеры умелые ?
Ну, в целом в последней части ты сам ответил на все вопросы :)
Вот только в случае "ребенка" и "соседа" - в контракте ISP явно написано, что ты отвечаешь за любые действия, проведенные с этого коннекта. Не важно, ребенок, сосед или собака соседа.
Видишь-ли, я не утверждаю, что система неработоспособна. Я утверждаю, что она не дает 100%-й гарантии что тебя не возьмут за жабры (а никто не дает 100% гарантии). Я утверждаю, что система сложнее и медленнее существующих осла и торрента. И как следствие - система не найдет достаточное количество сторонников, чтобы реально раскрутиться. Есть фринет, есть тор. Они оба так и не вышли из эксперементально стадии. Нет критической массы. И не будет. В том числе и из-за того, что требуется отдать часть своего дискового пространства и инетернет-канала для каких-то сторонних транзитных трансферов. Это не укладывается в психологию обычного человека. И результат на лицо.
Re: Други, а есть ли среди нас программеры умелые ?
Дык там еще написано что и спам рассылать запрещено и ддос ботов пользовать - теперь по твоему всех затрояненных юзеров Виндовса засудить и суд осудит?
Еще я с моем ISP никакого контракта не заключал, ни обычного ни даже односторонного типа EULA (чекбоксы и бутон потверждения не нажимал, и то что ознакомился с их условий даже устно не потверждал).
Да, есть конечно у них некоторые "правила" которые они сами себе написали и вывесили где-то для собственного спокойствия чтобы вроде всю ответственность с собой снять (не чтобы клиенты судить, а чтобы клиенты их не судили).
Но на оснований такого, юзера засудить просто смешно - они ведь могут завтра там написать что все им должны по тысяча баксов (то что могут менять правила как угодно и когда угодно без предупреждения они уже записали) - и что ты бежать платить будешь? ;)
Поетому и в тех изолированных случаев когда p2p юзеров в гребанных штатах судили, обвинение и доказывало именно, что не собака соседа качала.
--- "Я утверждаю, что система сложнее и медленнее существующих осла и торрента. И как следствие - система не найдет достаточное количество сторонников, чтобы реально раскрутиться."
Непонятно почему "сложность" смущает, ведь комп шифровать и все делать будет а не ты вручную.
Насчет "медленности" ты прав, но ето дело наживное. P2P системы (осел, торент) также вначале были /и еще продолжают быть/ медленнее чем прямого интернета; и ничего подтянулись. А то по твоей логике они также никогда не раскрутились бы.
--- "Есть фринет, есть тор. Они оба так и не вышли из эксперементально стадии."
Про торе я не сказал бы что он еще в "експериментальной стадии", хотя конечно ето вопрос субъективный. А и не так он медленен. Просто им пользуются только те которым анонимность на самом деле нужна, остальных p2p удовлетворяет.
--- "И не будет. В том числе и из-за того, что требуется отдать часть своего дискового пространства и инетернет-канала для каких-то сторонних транзитных трансферов. Это не укладывается в психологию обычного человека. И результат на лицо."
Ето вообще совершенно неверно.
Ни в тора ни во фринета не обязательно транзитировать траффик; можно и только качать хотя и не рекомендуется так как будет хуже работать.
Точно таким же образом, под мула и торента также нужно (хотя и необязательно) отдавать своего аплоад траффика для других - и ничего работает; только хуже/медленнее, если не отдашь.
И поетому - видишь, все и отдают, независимо от твоих психологических соображений.
Про дисковое пространство даже смешно говорить тут то не терабайты требуются а несколько гиг.
Причина, по которой они не так популярны проста - p2p на данном етапе вполне задоволительно работают и уже раскручены-заняли ету нишу. И их юзают и не боятся /кроме изолированнх случаев в изолированных государств;)/ что их засудят.
Поетому, вытеснять их трудно - потому что просто никому ето не особенно нужно.
И да, наверное ето скоро не поменяется.. если ловля на ведьм не начнется.
Но тогда чего мелочиться - так вообще компы могут запретить, или софт перепрошивать, или вообще анонимным быть.
К сожалению интерфейс p2p для библиотеки не годится, не юзабельно /а иначе в смысле наездов она там жила бы вполне хорошо/. Медленный Tor то лучше будет, таков как есть. И так на либрусеке картинок много нет, только полезная инфа;)))
Re: Други, а есть ли среди нас программеры умелые ?
с CVS тоже не все так гладко как бы хотелось получится
достаточно вполне одного злоумышленника, чтобы система полетела под откос, просто последнее обновление всегда будет при нем пустым файлом
а учитывая предполагаемую анонимность, даже невозможно будет выяснить кто нагадил
Re: Други, а есть ли среди нас программеры умелые ?
Фигня вопрос.
Каждый кропает свой модуль, к которому единственному имеет доступ на запись.
Соответственно может грохнуть только его.
Но так как все участники проекта регулярно апдейтятся, то даже в этом случае
у всех будет задняя версия.
Анонимусам только каталог с готовыми пакаджами, ибо дело тонкое... :))
А рутовый пароль и общую организацию попросим Ларина или еще кого,
вызывающего доверие.
Re: Други, а есть ли среди нас программеры умелые ?
Почти такая система вроде существует, только не заточена под книг.
Kuguar прочитай она работает точь в точь как то что ты предлагаешь.
http://freenetproject.org/
http://wiki.freenetproject.org/FrequentlyAskedQuestions
http://wiki.freenetproject.org/FreenetZeroPointRus
Набольшие трудности я тоже вижу в доступности; перекрывание в 10 раз даже по моему мало.
Но ИМХО заведомо проще если до етого дойдет, просто замирорить либрусек под Tor как .onion. Анонимность наверное слегка хуже но по моему сойдет. Я не слышал чтобы onion сервер был прикрыт кем-то.
Re: Други, а есть ли среди нас программеры умелые ?
Ага, спасибо! Это практически оно и есть.
Re: Други, а есть ли среди нас программеры умелые ?
Замиррорить то оно можно.
Однако вы знаете кто еще кроме Ларина этим пожелает заняться ?
Ведь нельзя же надеяться на одного человека, даже весьма достойного.
Я на всякий случай скачал все что можно, но даже имея все для себя я не могу
этим нормально делиться.
По поводу перекрывания - все зависит от глубины поиска. Если глубина больше 10, то и двухкратного перекрытия хватит. Но это будет благодатной почвой для вредительства.
Если глубина 1, то десятикратное перекрытие точно.
Но на первое время можно и нужно иметь один-два больших центральных сервера, с которых и осуществлять предварительную накачку данными. Наличие централизованных серверов вполне вписывается в архитектуру. Достаточно только помечать их адреса в таблице, как серверные, что бы они не перезаписывались.
Re: Други, а есть ли среди нас программеры умелые ?
"Однако вы знаете кто еще кроме Ларина этим пожелает заняться ?"
Знаю;) Подробности в либрусековской личке
Про остальное - да все верно но ето технические детали. Ты не учитываешь человеческий фактор (система-то не будет иметь пользователей а их количество критично); все с етим намного лучше в Tor (инсталировали Тor-кнопку в браузер и поехали как обычно).
Re: Други, а есть ли среди нас программеры умелые ?
Тема уже боком всплывала, посмотрите...
http://89.248.165.5/node/97188
http://89.248.165.5/node/98199
...вот эти треды.
Моё мнение:
http://89.248.165.5/node/98199#comment-3877
Тезисно:
1. Объём всей литературы Рунета невелик и помещается на одном локальном компе (а скоро, наверное, будет влезать на флеш-брелок для ключей); этого хватит на чтение до конца жизни.
2. Имеет смысл строить систему не для поиска чего-то, что захотелось почитать, а для повального распространения всего для всех (разумеется, с отключением у конечного пользователя лишних жанров)
3. Эту систему имеет смысл строить на основе проверенной временем идеологии фидоэх, модернизировав их под современный уровень: все файлы пересылаются электронной почтой по системе специально заведенных для этого ящиков и забираются с них совмещённым клиентом-библиотекарем. Так же распространяются запросы на подписку и т.п. (При этом легко решается вопрос анонимности: твоя переписка таки твоё личное дело, а твой IP будет знать только сервер, где ты заведешь ящик. Плюс - желательная шифрация трафика личным PGP-ключом). Новая идеология требует тщательной проработки заранее, разумеется.
4. Основные программы для этой системы все есть, с кодами. Нужно только собрать её из блоков и отладить.
Вот такая мысль, может будет интересна... Сам я не программер - просто заинтересован темой :)
Re: Други, а есть ли среди нас программеры умелые ?
такие темы всплывают регулярно, но еще нигде не сдвинулось с мертвой точки. С чего бы это? ИМХО - на самом деле это очень сложная задача и ее решением надо заниматься системно, начиная с определения целей и задач. А среда обмена - то ли п2п или почта или осел с торрентом - это только небольшая часть общей задачи. Посему м надо сначала определить для чего все это надо, а потом уже думать как.
Ну а со стороны локального юзера нужно иметь средства привязки к инфе в глобальной базе - ну чтоб знать что из глобальной базы надо исключить в качестве лишних жанров и т.д.
Итого, получается, что основой системы обмена должна быть база данных. Как ее делать и вести - другой вопрос. Но она должна быть.
Мне, например нравится идея допилить вот эту прогу http://ru.wikipedia.org/wiki/WASTE на предмет чтоб она могла автоматом скачивать/отдавать файлы по заданному списку. Как в фидошных фэхах.
Re: Други, а есть ли среди нас программеры умелые ?
прочитал и понял,я не просто ЛАМЕР,я представления не имею о чем речь,2 года в интернет провайдере работал,капец :(
Re: Други, а есть ли среди нас программеры умелые ?
http://offsystem.sourceforge.net/
Под содержательную работу в этом направлении я могу, в принципе, предоставить ресурсы.
Оценка объёма всей русскоязычной литературы в текстовом виде менее чем в 1Tb - она где-то верная.
Дублирование более чем в три раза - оно не надо. Но оно будет больше, если в сети на принципах OffSystem будет участвовать множество мелких узлов. Но оно не надо :-)
А дисковое хранилище в 3Tb на трёх физически разных машинах - фигня вопрос...
Re: Други, а есть ли среди нас программеры умелые ?
Фигня несомненная. Не фигня - защитить эти три хранилища от внесетевого наезда.
Пошёл изучать, продираясь сквозь аглицкий...
Re: Други, а есть ли среди нас программеры умелые ?
То что написано про компрессии - конечно фигня (eсли я правильно понял механизм)... Вероятность чтобы один и тот же 128К блок был частью двух разных файлов практически нулевая. А из-за неоднозначного XOR-разбиения /который "маскирует" контент/ необходимый объем на самом деле утроится.
Иначе идея интересная... Но
http://offsystem.sourceforge.net/en_technology.html - Small Numbers
Посмотрел бы как суд отреагирует на ету аргументацию... ;)
Так и сейчас, если у Бритни есть претензии к содержимого пиратского CD-диска где песни записаны "plain mp3", можно сказать так же: "а ведь моя программа просто читает с диска нули и единицы определенным образом - на нули и единицы у Бритни ведь нет копирайт - а то что они наконец складываются в песни - просто особенность того как мой ридер выбрал порядок чтения/интерпретации етих нулей и единиц. При другой интерпретации получилось бы например число Пи."... Разве нет?
И я глубоко сомневаюсь, что ето пройдет, хотя и верно;)
Re: Други, а есть ли среди нас программеры умелые ?
Имелось в виду следующая процедура. Берем произвольный массив и XORим его с неким текстом. В результате имеем два массива, которые тем же XOR образуют исходный текст.
Но любой их этих массивов можно заXORить с любым другим текстом. Т.е. получится три массива, которые в попарных комбинациях дадут превый текст и второй текст.
Но это уже потеряло актуальность ибо Free Net нас спасет :))
Re: Други, а есть ли среди нас программеры умелые ?
...Понял. Все же ето ничем не отличается обычным шифрованием где пользуясь неправильным ключом можно "расшифровать" до чего угодно.
Кроме концепции "разных кусков", т.е. типа аргументации 7=5+2=8-1=.... и тем что каждый пользователь шарит только куски, собственно недостаточные для полного восстановления без кусков из других пользователей.
Но последнее весьма сомнительно в юридическом плане, см. выше.
Все же лучше чтобы система обеспечивала и анонимность. Тогда нужно запретить анонимности что по идее намного жестче.
И, как я понял во фринете опять каждый шарит шифрованые куски только, так что там вроде обе вещи имеются..
Re: Други, а есть ли среди нас программеры умелые ?
Собственно, только моя не информированность, и стала камнем преткновения. :((
Вот это - http://wiki.freenetproject.org/FreenetZeroPointRus - оно самое и есть. Т.е. достаточно поставить на своей машине и можно cпокойно расшаривать любую библиотеку на радость добрым людям.
Есть некоторые сложности, но они временные и решаются. Во первых надо русифицировать и привлечь народу побольше. Во вторых, неплохо бы отмиррорить или пересоздать библиотеку из уже имеющихся.
Ну и плагины надо сделать ориентированные на текстово-библиотечные дела.
Оно работает несколько медленно, т.е. для массированной скачки плохо. Но зачем качать все сплошняком, если есть гарантия что оно никуда не денется и доступно будет в любой момент.
Т.е. схема такова - обсуждения, аннотации и рейтинги лежат на открытых сайтах, а тексты в FreeNET, в свободном доступе и распределенном хранении.
Re: Други, а есть ли среди нас программеры умелые ?
1.есть глобальная база с библиографией, в которой присваиваются глобальные ИДы всем объектам. глобальная база - общедоступна. Самих книг там нет.
2.у юзеров есть локальные базы, которые содержат какие-то выборки из глобальной базы. Юзеры могут добавлять свой контент в свою базу. Если юзер хочет его расшарить - отправляет в глобальную базу для получения глобального ИДа.
3.В глобальной базе все полученные данные от юзеров просеиваются на предмет удаления дублей и уникальным объектам присваиваются глобальные ИДы.
4.Периодически, в зависимости от выставленных параметров, в глобальной базе генерятся обновления для юзерских коллекций с вновь присвоенными глобальными Идами.
5.Юзеры считывают обновления с глобальной базы. Те, кто отправлял на согласование в глобальную базу свои данные, выставляют сами файлы во Фринет для скачивания теми юзерами, кто получает их обновления по библиографии из глобальной базы.
6.Юзеры, скачавшие сами файлы, переносят файлы в свои локальные файловые архивы. Ну и может быть, на какое-то время расшаривают их всем.
7.Таким образом здесь фринет выступает как среда обмена файлами для локальных файловых архивов юзеров по типу теперешней Фидо.
Re: Други, а есть ли среди нас программеры умелые ?
Тогда увы прищучат ведь то кто базу держит... Ведь торент трекеры то же самое "глобальная база", самих файлов там нет.....
Сама база опять должна быть распределенной... Что вроде в некотором смысле сделано во фринете.
Re: Други, а есть ли среди нас программеры умелые ?
База должна быть распределенная. Ссылку можно увидеть, на предложенную вами структуру ?
Если в этой помойке можно делать выборки по автору, названию и дате файла, то большего и желать нельзя.
Могут наехать, мотивируя пособничеством.
Да и зачем специальные ИД ? Автор + название, само по себе ИД.
Так во FreeNet и надо хранить только файло. А долго, это с чем сравнивать.
У меня тестовое произвольное файло льется ~5МБ в час. Средняя книжка 200кил., т.е. менее 10 минут.
Re: Други, а есть ли среди нас программеры умелые ?
Структуру у корейца повесил. Вот.
http://forum.home-lib.net/viewtopic.php?f=6&t=12&sid=7afd115cf3fafbdbc344250ca9590436
А насчет ИДа -юзер все равно не увидит какой там ИД. А плодить сущности из-за очепяток как-то некошерно.
Не забывайте разную техническую литературу. Там 5 Мб это не много. Вот и получается, что такая скорость для он-лайновой работы с книгами недостаточна. Да даже 10 минут - и то много. Назад в дуалап, вобчем.
Re: Други, а есть ли среди нас программеры умелые ?
От длинны ключа (имени файла) зависит. Если лезет все, то почему бы и нет. Если нет, то достаточно жестко оговоренного метода генерации имени файла по его библиографии.
Так и не надо синхронизировать. Строится запрос к Free Net, путем генерации маски имени файла. В ответ получаем выборку из базы со списком файлов удовлетворяющих условию.
Распределенная файловая система и есть та самая база данных.
Это более сложная проблема, чем кажется. Одно и то же произведение может храниться еще и в разных форматах и в разных оформлениях. Так что не существует единственно верного, безошибочного, варианта.
Re: Други, а есть ли среди нас программеры умелые ?
не влезет. Причины.
1.имя файла ограничено 256символов. Если учесть, что сюда входит путь к файлу, то это не так и много.
2.библиография может содержать раное число полей для раных книг, их все соединить невозможно. Например, разное число авторов, несколько разных классификаторов и т.д. Обрезать все равно придется.
3.самое главное - обратный разбор очень нетривиальная задача, недаром универсальные библиотечные форматы типа МАРК так и не прижились. Т.е. получается, что записав библиографию в имя файла, часть инфы мы в любом случае потеряем. Следствие этого - проблемы при поиске. Ну и все, приплыли.
единственное достоинство структурированных имен - доп.ПО не нужно. Работаешь с файловой системой и все. Но поиску это особо не помогает. Разве что для небольших либов. Вот у меня лежит рассортированная либа в фб2 со структурой типа Буква/Автор/книги_автора. Так чтобы чего-то там найти, все равно приходится искать по списку. Иначе в обилии папок просто теряешься.
Мое мнение - иметь инфу в базе, на ее основе можно генерить любое имя файла. Если очень хочется, новые файлы можно вбрасывать со сложными именами, но инфа в базе все равно должна быть. Ну и конечно, каталогизатор нужен. Как у Корейца.
Re: Други, а есть ли среди нас программеры умелые ?
Разумно цитировать оно, похоже, не умеет.
Имя файла затруднительно генерировать из библиографического описания - тому много причин, рассказывать лень. Альтернативы абстрактному ID, пожалуй, нет.
Мысль о том, что отдельно - база с библиографическими описаниями, отдельно - распределённое файловое хранилище - она, безусловно, правильная.
Наехать на базу с библиографическими описаниями - нереально. Кто сомневается - пусть попробует наехать на электронный каталог Лениники.
FreeNet как распределённое файловое хранилище мне не нравится. Слишком много ограничений, начиная с реального ip. OFFSystem выглядит гораздо лучше - это изначально файловая система. На разговоры про маскировку контента можно забить :-) Распределённая файловая система - это гораздо важнее. Я, кстати, попробовал - при некоторых условиях всё хорошо. И файлы отдаются быстро. А при их наличии в запрашиваемом узле - мгновенно ;-) Т.е., 5 - 7 крупных узлов OFFSystem на всю русскоязычную аудиторию будет достаточно. Не надо плодить мелкие. А организовать 3 - 5 узлов под государственной крышей - реально.
А вот схема базы данных... Она того. Наивна, скажем так. Годится для домашнего использования, но уже не годится, скажем, для lib.rus.ec'а. Впрочем, я это уже говорил, но в другой аудитории.
Как оно должно быть - читать здесь:
http://www.ifla.org/VII/s13/frbr/frbr.htm
После вкуривания - понять, что сделать так, как там написано - невозможно. Как возможно - спросить меня. Покажу схему базы данных. Кто не поверит - дам текст, где крутые перцы запроектировали frbr в объектном виде. Правда, обломались, вроде, но я до конца не понял - заломался читать длинную статью на нудном английском. Кстати, кто переведёт - буду благодарен.
Что до реального существования frbr-like базы данных с библиографической информацией - ну, я завял на написании импорта marc-файла. Просто на тупом копипасте обработки этих сотен возможно-когда-нибудь-понадобящихся полей. Да и энтузиазма нет.... Не надо оно никому, на самом деле....
Re: Други, а есть ли среди нас программеры умелые ?
ФРБР читал. Обращаюсь - покажи схему базы данных.
Re: Други, а есть ли среди нас программеры умелые ?
Блин, а как удалить комментарий?
Re: Други, а есть ли среди нас программеры умелые ?
Альтернативы FreeNet пока не предвидится. Т.е. основное чем должен обладать файлообменник - анонимность и скрытность данных.
Т.е. должно быть невозможно установить, кто что закачал и кто что выкачал. В лучшем случае анонимный ID пользователя.
Скрытность данных означает, что содержимое любой локальной части файлообменника, т.е. файла подкачки на локальном компе, не является чем либо копирайтно-защащищеным, а в идеале вообще идентифицируемым.
Минус пока один, это скорость. Но по мне так вполне нормально, т.к. по любому, поиск+заливка идет в десяток раз быстрее, чем я читаю.
А какого либо еще приличного использования сливаемым книгам я не вижу.
С центализованно базой данных тоже хня. Опять хостинг за неизвестно чьи деньги, статический известный IP, который завсегда заспуфить можно и кто то добрый, кто базу админит.
База данных, по любому, тоже должна быть децентализованной. Правда она может быть открытой и не иметь анонимного доступа, т.к. ее содержимое никак не является контрафактом.
Re: Други, а есть ли среди нас программеры умелые ?
>Альтернативы FreeNet пока не предвидится.
Есть ещё один проект, позволяющий скрыть обмен по сети: TOR
Вот здесь его описание: http://www.torproject.org/
Идея в том, что поток перенаправляется через кучу прокси с шифрованием, причём маршрут меняется раз в минуту!
Не думаю что такое удасться вскрыть
В этой сети можно создавать скрытые ресурсы, но для доступа к ним над установить тор-клиент у себя на машину.
Хожу иногда через него по сети, скорость иногда немного тормозит, но вполне приемлемо.
Re: Други, а есть ли среди нас программеры умелые ?
Это только первая половина, т.е. анонимность. А вот второй половины, т.е. распределенного хранения нет. Соответственно нужны сервера и все проблемы отсюда вытекающие...
Re: Други, а есть ли среди нас программеры умелые ?
в качестве второй половины я испытывал http://ru.wikipedia.org/wiki/Http_file_server. Каждый кто хочет учавствовать в проекте, поднимает у себя такой сервер в режиме скрытого сервиса ТОР. Теперь народ может туда доступаться, но реального адреса юзера узнать нельзя. Мало того, скрытый сервис ТОРа можно запускать из-под НАТа. Но здесь есть недостаток - трафик не шифруется и потенциально, запустив несколько серверов ТОР, можно узнать местоположение конечного сервера. Конечно, это сложно, но тем не менее возможно - в сети бродят несколько рассказов как ломали ТОР, как раз таким образом.
А вот если использовать Васту для этого, а там есть и шифрация трафика, то тогда это сломать уже сложнее, т.к. трафик шифруется и нельзя определить что именно передается со скрытого сервиса.
У Васты коды открытые. А теперь предстваим, если туда дописать несколько простых функций типа выставление в доступ файлов из какого-то списка, и запрет доступа к тому чего нет в этом списке. Это на стороне сервера.
А на приемной стороне юзер имеет список скрытых сервисов, где раздаются файлы и запускает простейшую приблуду на основе вгет. Она читает сначала список файлов с каждого сервера, а потом тащит сами файлы. И закачанные файлы автоматом переносит в свой список на раздачу. И еще - в зависимости от каких-то параметров, сортирует очередность просмотра списка скрытых серверов - для выравнивания нагрузки.
В результате получаем нечто подобное современной ФИДО, но
1. полностью анонимное
2.с шифрацией трафика
Подключившись к такой системе в качестве конечного узла, вычислить местоположение скрытых сервисов нельзя, даже запустив внутри ТОРа свои сервера и снимая с них трафик. Но это такая паранойа, что даже не знаю насколько реально надо.
Re: Други, а есть ли среди нас программеры умелые ?
Что то я не могу найти описаний, что есть ТОР. Да и вообще как то слабо верится. Тут или есть доступ или не идентифицируемый IP. Третьего не дано :))
Из под NAT можно запускать то, к чему есть доступ только по инициативе того, кто за NAT.
Т.е. я не имею никакого способа послать что либо, по своему желанию, компьютеру в локалке за маскарадингом.
Я это решаю тем, что мапплю некоторые порты сервера NAT на порты локальных машин, но для этого нужно иметь рутовый доступ к серверу.
"WASTE (также W.a.s.t.e.) — программа для P2P-обмена файлами небольшими рабочими группами размером до 50 пользователей." (C) Википедия.
Ну а что делать 50+N пользователям ?
Re: Други, а есть ли среди нас программеры умелые ?
http://www.torproject.org/documentation.html.ru
дано, хитые америкосы еще и не такое придумают:)
изучайте, можно. Испытывал лично с пол-года назад. Работает.
а кто запрещает одному юзеру сидеть одновременно в двух группах:)
Страницы