Как сделать контент фильтр
Контентная фильтрация в образовательных учреждениях
Приветствую, %username%
Вот уже несколько лет я работаю в школе, и сейчас в мои обязанности входит поддержка школьной сетевой инфраструктуры. Хочу поделиться с вами своим небольшим опытом по организации контентной фильтрации у нас в школе.
Суть проблемы
В последнее время стало приходить очень много писем от министерства, о том, что нужно организовать контентную фильтрацию в школах, тем самым защитить юных дарований от негативной информации. Каждый раз, читая очередное письмо, как две капли воды похожее на предыдущее, я недоумевал. Было написано что нужно сделать, но не как это сделать. Да, были отсылки на проприетарные продукты но меня и мое руководство данный вариант не особо устраивал.
Разумеется, следом за письмами пожаловал помощник прокурора с целью проверить качество фильтрации. Искал через поисковые системы слова: Скинхеды, Дезоморфин, Кодеин. Конечно же без проблем нашел описание кодеина и дезоморфина в википедии, возмутился и выписал предписание.
Значит, нужно срочно что-то придумать, чтобы как минимум в следующий раз пройти проверку и не получить штраф. Было найдено несколько решений данного вопроса, тем не менее ни одно из них меня не удовлетворило полностью. Во всем есть свои плюсы и минусы, и я пришел к выводу что фильтрация контента должна быть комплексной.
Как это должно быть в идеале
Вариант №1
Министерство образования нанимает группу разработчиков, и те пишут продукт, который позволит без лишних затрат организовать сетевую инфраструктуру в школе и распространяет его по образовательным учреждениям бесплатно. Разумеется, должна вестись постоянная поддержка продукта и улучшение функционала, плюс учитывать мнение и пожелание конечных пользователей.
Вариант №2
Организовать сообщество людей, которое будет разрабатывать на базе UNIX-подобной операционной системы интернет-шлюз с удобной графической оболочкой и необходимым функционалом.
К сожалению, в жизни все по другому. По сути, школы представлены сами себе, а у министерства явно не в приоритете помочь школам в данном вопросе. Предвидя реплики типа: «в школе есть системный администратор, вот пусть этим и занимается», по своему личному опыту знаю, что в некоторых школах ставка системный администратор вообще не предусмотрена. В моем случае, я просто специалист по кабинету информатики.
Что можно использовать
Интернет-цензор
Бесплатный интернет-фильтр для детей. К сожалению, он только под Windows и нет возможности централизованного управления для всех компьютеров в сети. Это решение больше подойдет для небольшой группы компьютеров. При установке просит придумать пароль и указать электронную почту для восстановления пароля и отправки уведомлений.
Личный опыт: На нескольких компьютерах, через некоторое время после установки программа сообщала что она повреждена и просила переустановку. После переустановки работала пару дней, и все повторялось. Что интересно, фильтрация по прежнему работала. Также были случаи, когда пользователь просто забывал пароль, и при нажатии на кнопку «Восстановить пароль» программа сообщала, что интернет отсутствует и соответственно узнать/восстановить пароль через электронную почту не выйдет. Удалить без знания пароля и вреда для системы лично у меня не вышло.
SkyDNS
Российский облачный интернет-сервис, предоставляющий услуги контент-фильтрации. Вся суть в замене DNS-серверов компьютера на предоставленный DNS-сервер компании. Можно указать вручную, или установить программу-клиент с официального сайта, которая сделает все сама, плюс прямо из программы можно выбрать категории фильтрации. Клиент только для ОС Windows. Если клиент не использовать, необходим внешний статический IP-адрес и вручную сделать привязку в личном кабинете на сайте.
Личный опыт: В целом, сервис довольно неплохой. Имеются черные и белые списки сайтов, статистика, можно включить переадресацию всех поисковых систем на безопасный поиск самого сервиса. За небольшую плату в год, можно настроить страницу блокировки и включить режим работы только по белому списку сайтов, который включает в себя несколько тысяч адресов безопасных сайтов.
Как вариант, можно использовать другие безопасные DNS-серверы, например от Яндекс:
DNS1: 77.88.8.7
DNS2: 77.88.8.3
P.S. Логичней всего DNS-сервер указывать на роутере, или в настройках DHCP-сервера, если таковой используется.
UserGate Proxy & Firewall
Представляет собой интернет-шлюз, который устанавливается на отдельный компьютер под управлением Windows. В комплекте идет трехъядерный антивирус, межсетевой экран, контент-фильтр, контроль и мониторинг пользователей и еще пару полезных плюшек.
Личный опыт: Изначально я считал плохой идеей держать компьютер под управлением Windows для таких задач, но тем не менее данный продукт проработал у нас более года. За это время, частенько падал интернет, были различные глюки и приходилось делать рестарт системы. Учитывая, что доступ к этому компьютеру был не только у меня, находились умельцы посидеть за этим компьютеров и притащить туда вирусы.
Финал настал, когда фирма каждый раз выпуская новую версию просила доплатить за обновление. Более того, за лицензию на контент-фильтр Entensys URL Filtering надо было приобретать отдельно, и причем каждый год.
KinderGate
Контент-фильтр, разработан компанией Entensys, как и UserGate. Есть клиенты под основые ОС, фильтрация по содержимому сайта, фильтр по категориям, родительский контроль, безопасный поиск, контроль загрузки файлов, поддерживает кластеризацию и фильтрацию HTTPS-протокола. Стоимость составляет 490 рублей на компьютер в год.
Личный опыт: Данное ПО очень активно рекламируют в образовательных учреждениях. Наша школа данный продукт не заказывала, ввиду большой конечной стоимости. В соседних школах и детских садах были куплены 1-2 лицензии, говорят стал медленнее работать интернет и очень частые срабатывания, а значит поиск в интернете стал в разы больше. Видимо работает по принципу лучше пере, чем недо.
Интернет Контроль Сервер
Интернет-шлюз, разработанный на базе FreeBSD. Имеет внушительный функционал. В комплекте идут контентная фильтрация, категории трафика SkyDNS, модуль DLP и IP-телефонии, встроенный антивирус, учет трафика и контроль доступа, прокси-сервер, защита корпоративной сети, почта, FTP, Web и Jabber сервер. Явные преимущества этого решения в том, что можно бесплатно использовать полнофункциональную версию на 8 пользователей.
Личный опыт: Уже два года используем данный продукт в нашей сети. Лицензия на 100 пользователей обошлась нам всего в 4.500 рублей, сейчас стоимость продукта 5.500 для образовательных учреждений. Для сравнения, аналогичный продукт от компании Ideco стоит 26.500 рублей.
В комплекте есть все, что нужно и даже больше. Установка и настройка не вызывает проблем, все интуитивно понятно. Из функционала сейчас используем Jabber для общения, папки общего доступа и встроенный WEB-сервер. Очень удобно отключать пользователей от интернета, например кабинет информатики чтобы дети не сидели в интернете во время перемены. Можно настроить график автоматического включения/выключения пользователей. Порадовала функция ограничения скорости, с небольшим каналом и большим количеством компьютеров она просто жизненна необходима, плюс можно настроить квоты на объем трафика. Начальство в восторге от того, что можно в реальном времени наблюдать кто и что ищет в интернете. По каждому пользователю доступна полная статистика: посещенные сайты, объем трафика, поисковые запросы.
Контентная фильтрацию у нас осуществляется в несколько уровней. Первый уровень фильтрации — встроенные категории трафика. Есть готовые списки сайтов и регулярных выражений, только указал к какому пользователю или группе применять и все работает. Можно создать свои категории фильтрации, указав конкретные сайты или ключевые слова. Второй уровень — поддержка сервиса SkyDNS. Нужно указать в настройках шлюза использовать их DNS-сервер и иметь внешний статический IP-адрес. Управление категориями блокировки осуществляется только через сайт SkyDNS. Третий уровень — встроенный контент-фильтр, который блокирует по содержимому. Уже заложены списки от Минюста и Госнаркоконтроля.
В процессе использования, постоянно натыкались на «подводные» камни. Как оказалось, списки от Минюста и Госнаркоконтроля не совсем адекватные. Попадаются слова, в которых лично я не вижу ничего опасного. Техподдержка ИКС сказала, что списки им прислали «сверху» и сами они ничего не придумывали. Другая проблема — когда на нормальных сайтах попадается контекстная реклама, в которой попадаются запрещенные слова. Подобная история случилась с сайтом Mail.Ru который в один прекрасный день просто оказался заблокированным. Ключевое слово battlefield которое я сам добавил в категорию фильтрации «Игры» каким то образом оказалось в коде главной страницы почты, в итоге пришлось создавать правило на шлюзе, чтобы пускал на Mail.Ru в обход фильтров, благо такая возможность есть.
В общем, имея прямые руки и немного терпения можно нормально настроить контентную фильтрацию на данном шлюзе.
Заключение
Данная статья не подлежит комментированию, поскольку её автор ещё не является полноправным участником сообщества. Вы сможете связаться с автором только после того, как он получит приглашение от кого-либо из участников сообщества. До этого момента его username будет скрыт псевдонимом.
Контентная фильтрация: зачем и как это делать
Привет, Хабр! Сегодня мы поговорим о фильтрации интернет-контента. Три года назад вступил в силу федеральный закон 139-ФЗ, дополнивший уже принятый 436-ФЗ «О защите детей от информации, причиняющей вред их здоровью и развитию». В соответствии с российским законодательством, доступ в интернет в школах возможен лишь «при условии применения административных и организационных мер, технических, программно-аппаратных средств защиты детей от информации, причиняющей вред их здоровью и (или) развитию». Другими словами, закон требует обязательной фильтрации интернет-контента. Добро пожаловать под кат.
Возможно, кто-то считает, что это исключительно российская новация. Вовсе нет. Практика фильтрации контента давно есть во многих странах, делается это по-разному. Например, во Франции министерство народного образования запустило автоматизированную и централизованную фильтрацию контента в школах на основании двух «чёрных списков»: в первом списке – порнографические ресурсы, во втором – расистские и антисемитские сайты. Он составлен в соответствии с общеевропейским проектом по развитию безопасного интернета (Safer Internet Action Plan).
В США «Акт о защите детей от интернета» был принят еще в 2001 году. Для фильтрации используются коммерческие фильтрующие программные пакеты, а в некоторых штатах — блокирование IP-адресов на уровне провайдера.
В Канаде в рамках проекта «Чистая связь» с 2006 года провайдеры, добровольно участвующие в программе, блокирует переход по ссылкам из «черного списка», который формируется аналитиками Канадского центра по защите детей (Canadian Centre for Child Protection). Провайдеры сами решают, как блокировать контент — по IP-адресу или доменному имени, а Sasktel BellCanada и Telus принципиально блокируют только ссылки, чтобы избежать случайного блокирования ресурсов, не содержащих запрещенного контента.
Большинство поисковых систем в Германии — Google, Lycos Europe, MSN Deutschland, AOL Deutschland, Yahoo!, T-Online и T-info — присоединились к соглашению «Добровольный самоконтроль для мультимедийных сервис-провайдеров». Они фильтруют интернет-сайты на основе списка, который определяется Федеральным департаментом по медиаресурсам, вредным для молодежи.
Контентная и url-фильтрация необходима не только в библиотеках, школах и университетах, где делать это нужно обязательно.
Уже давно большинство компаний старается закрыть доступ к развлекательным ресурсам и социальным сетям для своих сотрудников. Нет нужды объяснять — почему. С другой стороны, делать это необходимо с умом. Ведь доступ к Facebook и LinkedIn для HR, PR и сотрудникам отдела продаж нужен для повседневной работы. Да, полностью закрыть доступ к ресурсам, которые в компании считаются нежелательными для посещения, нельзя. Можно обойти эти запреты, выходя в интернет со смартфона или планшета. Но хотя бы не через корпоративную сеть.
Для простоты рассмотрим настройки фильтрации контента на примере обычной школы. Настройка модуля NetPolice и правил пользователей по типу, группе и категории для любой другой организации происходит аналогично.
Что нам нужно сделать? Запретить для всех доступ к сайтам из списка Росреестра, настроить школьникам доступ только по разрешенным категориям, а учителям — доступ по всем категориям, кроме запрещенных.
1. Начинаем с создания групп пользователей. В нашем случае это группы «Учителя» и «Школьники». Разумеется, в компании необходимо будет создать больше групп: «Руководители», «Сотрудники», «PR», «HR» и так далее. Принцип создания групп пользователей тот же, что и в нашем примере.
Для создания группы пользователей переходим в раздел консоли управления «Пользователи и группы». В блоке «Пользователи и группы» во вкладке «Действия» нажимаем на ссылку «Добавить группу»:
2. Сначала создаём группу «Учителя»:
3. Теперь создаём правила для пользователей при помощи модуля NetPolice. В консоли управления переходим в раздел «Модули расширения – NetPolice – Правила» и добавляем его:
4. Называем правило «Запрет по категориям (учителя)» и выбираем категории запрета:
5. создаём пользовательское правило и выбираем тип правила «Запретить доступ»:
6. В настройке правила выбираем группу «Учителя». На этом настройка для этой группы завершена:
7. Теперь переходим к созданию правил для группы «Школьники». Сначала (пусть это не покажется странным) нам необходимо запретить доступ ко всем ресурсам:
7. Добавляем правило, разрешающее пользователям работу с DNS (53 порт), чтобы выход в интернет был возможен. Для этого создаём правило «DNS-клиент», выбираем протоколы TCP/UDP и изменяем диапазон портов назначения на 53 порт:
8. Теперь добавляем пользовательское правило, разрешающее ученикам просмотр сайтов:
9. В отличие от группы «Учителя», которой разрешено посещать любые ресурсы, кроме запрещенных, пользователи из группы «Школьники» могут попасть только на определенные интернет-ресурсы:
10. Создаём новую категорию и подтверждаем автоматическое создание нового правила на разрешение:
11. И, наконец, настраиваем правило для работы с группой «Школьники».
12. Возвращаемся к настройкам групп пользователей, ведь нам еще необходимо, чтобы весь трафик проходил через прокси-сервер и блокировался при запросах мимо прокси.
13. Первыми в списке должны идти правила на разрешения. Для группы «Учителя» правило «Запрет по категориям (учителя)» добавляется автоматически:
Нам осталось только внести пользователей в определенные группы и проверить правильность настроек, перейдя по ссылке www.smart-soft.ru/ru/solutions/check-federal-law/.
Этим возможности Traffic Inspector не ограничиваются. Кроме контентной фильтрации мы можем, создав так называемый «черный» список, запретить доступ к определенным сайтам, которые могут не быть включены в уже запрещенные категории. Например, таким образом в компании можно запретить для определенных категорий сотрудников доступ к социальным сетям и развлекательным сервисам.
Подробнее о настройках «черного» списка здесь.
Если наши читатели знают другие интересные решения этой проблемы, как всегда, приглашаем к обсуждению.
Бесплатный контент-фильтр для Linux и Windows
В этой статье мы рассмотрим мультиплатформенное (Linux, Windows) решение для эффективной контент-фильтрации, его установку и настройку. Такой фильтр можно использовать в школах или других образовательных учреждениях.
Введение
Сначала немного теории, если кому неинтересно, можно перейти к следующей главе. Какая фильтрация бывает? Фильтрация трафика может быть двух видов, серверная и клиентская.
Принцип работы серверной фильтрации
Есть выделенной компьютер, на нём настроен интернет, и этот интернет раздаётся на остальные компьютеры через локальную сеть. Фильтрация происходит на выделенном компьютере. Известные программы для организации серверной контент-фильтрации:
Для windows:
Но есть один большой недостаток для решений под ОС Windows, все они, почти, платные, а если и бесплатные, как МКФ, то требуют установки платного продукта.
Для Linux:
Данные программы бесплатны. Но они более сложные в настройке.
Принцип работы клиентской фильтрации
На каждом компьютере, где нужна контент-фильтрация, устанавливается и настраивается программа, которая это делает. Примеры:
Windows
Linux
Теория
А теперь поговорим о достаточно простом бесплатном способе контент-фильтрации, но и при этом достаточно эффективном. За всё время я испробовал много способов контент-фильтрации, но этот зарекомендовал себя как один из лучших и простых решений. Его так же можно использовать вместе с любым из других способов как дополнение.
Что нам для этого надо
Как это работает?
У браузера Mozilla Firefox, есть множество дополнений. На основе таких дополнений мы будем делать контент-фильтрацию.
Описание дополнений
Первое дополнение в нашем списке это WOT
WOT (Web of Trust) — это бесплатная надстройка к браузеру, которая предупреждает Интернет-пользователя во время поиска информации или совершения покупок о потенциально небезопасных веб-страницах. WOT совместим с такими браузерами как Internet Explorer, Mozilla Firefox, Opera (в 11 версии при помощи расширения) Google Chrome. википедия
В этом плагине есть и родительский контроль. С помощью этого плагина мы будем выполнять контент- фильтрацию.
Второе дополнение. Adblock Plus
Adblock Plus — расширение для браузеров и другого ПО на основе Gecko: Mozilla Firefox (включая «мобильный»), Mozilla Thunderbird, Mozilla Suite, SeaMonkey, Songbird и Mozilla Prism, позволяющее блокировать загрузку и показ различных элементов страницы: чрезмерно назойливых или неприятных рекламных баннеров, всплывающих окон и других объектов, мешающих использованию сайта. википедия
Этим плагином мы вырежем всю рекламу и баннеры.
Третье дополнение. Public Fox
Он нужен для того, чтобы дети не смогли отключить дополнения, отвечающие за контент-фильтрацию. С помощью него мы поставим пароль для настроек.
Практика
Итак, приступим. Настройка под разные ОС почти не отличается. В Linux я использую браузер iceweasel.
Приступим, установим дополнение WOT
Устанавливаем дополнение Adblock
Здесь я не буду приводить повторяющиеся картинки. Если что вызывает трудности, можете смотреть выше, это делается по подобию.
Всё расширение Public Fox настроено. Нажимаем Кнопку «ОК».
Убираем пункт «WOT» из инструментов
Эта часть более сложная, но в ней мы исключаем любую возможность отключить расширение, отвечающие за фильтрацию. А это пункт меню в инструментах. 
В Windows
В linux
Если Вы сами хорошо знакомы с лунуксом, то можете сделать проще. Нам нужно зайти /home/user/.mozilla/firefox/3ji8e26a.default/chrome (3ji8e26a.default — профиль, у Вас он называется по другому) и там изменить файл, как и какой смотреть ниже.
Чтобы способ был более универсальным для разных версий линукса, будем делать всё через консоль (терминал).
И проверяем наличие пункта меню «WOT» если его нет, то мы всё сделали правильно. В настройки WOT можно зайти через дополнения, которые защищены паролем.
В результате у меня: 
Далее переходим в настройки firefox. Он должен запросить пароль, введём пароль.
Зададим домашнюю страницу http://family.yandex.ru 
По идее, войну с поисковиками можно продолжить, т.е. оставлять для поиска только безопасный гугл поиска или семейный поиск яндекса. Но это уже выходит за рамки этой статьи.
Напомню, что необязательно это всё проделывать на каждом компьютере. Достаточно скопировать профиль
мозилы (написано выше где находится профиль). И заменять этот профиль на другом копьютере.
Все настройки и плагины перенесутся на другой компьютер.
Чтобы наш фильтр был эффективным, нужно запретить использование других браузеров, в ОС Linux это решается легко, если браузер не один, удаляем остальные. В ОС Windows это уже сложнее. Нужно сделать тоже самое, удалить
установленные браузеры.
Остаётся только internet explorer (далее ie) браузер по умолчанию, который удалять нежелательно. Поэтому делаем FireFox браузером по умолчанию. И удаляем все упоминания о ie из пуска и рабочего стола, ярлыки быстрого запуска. Это практически достаточно. Запретить запуск ie возможно стандартными средствами ОС.
Зачем нужен безопасный и семейный поиск?
Что может быть лучше контентной фильтрации предоставляемой такими большими
компаниями как яндекс и гугл? Которые своими алгоритмами отфильтровывают нежелательный контент. Нам лишь остаётся воспользоваться этим.
Многим пользователям важно иметь возможность оградить себя и своих детей от сайтов с материалами «для взрослых» при поиске в интернете. Поэтому с 1999 года на Яндексе существует «семейный поиск», где мы стараемся максимально обезопасить пользователей от появления в результатах поиска сайтов с «взрослым» содержанием как по запросам с неоднозначным толкованием, так и по прямым запросам. http://webmaster.ya.ru/replies.xml?item_no=7913
Многие пользователи предпочитают, чтобы в результатах поиска не появлялось содержание только для взрослых (особенно если этот компьютер используют дети). Фильтры Безопасного поиска Google позволяют настроить браузер таким образом, чтобы подобное содержание в результатах поиска не отображалось. Google использует автоматизированные методы определения неприемлемого содержания и постоянно их совершенствует, учитывая отклики пользователей. Чтобы выявить содержание сексуального характера, мы обычно используем алгоритмы проверки сразу по нескольким параметрам: ключевые слова, ссылки, изображения и т. д. И хотя не существует фильтров, которые бы работали без погрешностей, использование Безопасного поиска в большинстве случаев избавит вас от содержания подобного рода. http://www.google.ru/support/websearch/bin/answer.py?answer=510
Подведём итоги. Что мы имеем?
Данная статья не подлежит комментированию, поскольку её автор ещё не является полноправным участником сообщества. Вы сможете связаться с автором только после того, как он получит приглашение от кого-либо из участников сообщества. До этого момента его username будет скрыт псевдонимом.