Добротно про парсинг данных при помощи Excel на примере получения данных о судебных делах из открытых источников

Статья на нежелательном и порицаемом на территории РФ сайте команды belingcat про расчет размеров объектов на фото, картах и панорамах. Очень подробно и доходчиво.

Sniffnet

Отличное мультиплатформенное решение для мониторинга собственного трафика. Как и всем известный Wifeshark позволяет выбирать сетевые адаптеры, применять фильтры к трафику, просматривать общую статистику и следить за трафиком в реальном времени с помощью симпатичных и наглядных графиков на дашборде.

Sniffnet cпособно идентифицировать более 6000 сервисов, протоколов и программ, предоставляя детальную информацию о сетевых соединениях, включая доменные имена, ASNs и геолокацию IP-адресов.

NetAlertX

Еще один сетевой монитор предназначенный для сканирования сети и получения уведомлений, для оперативного обнаружения злодеев в вашей сети. Поддерживает различные методы сканирования, такие как arp-scan, импорт баз данных Pi-hole и импорт SNMP-сообщений от маршрутизаторов. Позволяет планировать сканирование устройств, отслеживать изменения портов и получать уведомления при обнаружении неизвестных устройств или изменений. При этом на уведомлениях сделан особый упор, так как в NetAlertX можно интегрировать на текущий момент около 80 различных сервисов уведомлений - от Телеграм до сервисов типа Pushover.

Имеет очень качественную систему плагинов позволяющих создавать свои собственные специфические сканеры и интегрировать их с различными системами автоматизации.

CyberScraper 2077

Достаточно интересный веб скрапер нас стероидах и как это сейчас модно ИИ - OpenAI, Gemini и Ollama в комплекте. "Для чего оно там?" - спросите вы. "Для обхода защиты, капчи и контекстного понимания того, что вы будете скрапить" - отвечают разработчики.

Какой-то собственной глубокой рецензии я пока вам не дам, так как играюсь только около недели. Но пока только положительные впечатления.

Из приятных особенностей:
- Удобный интерфейс
- Экспорт в JSON, CSV, HTML, SQL или Excel
- Качественное структурирует извлеченный контент. Вот тут как раз ИИ очень в тему.
- Режим скрытности
Ну и еще по мелочи до кучи.

Timelinize

Я уже много раз говорил, что люблю метод разложения на таймлайне, как один из самых наглядных в процессе расследований. И похоже у нас появился претендент на мега-инструмент для этого (правда в очень ранней стадии разработки).
Timelinize позволяет разложить на временную шкалу любые типы данных. В ручном, полуавтоматическом или полностью в автоматическом режиме. Просто сущности, посты в социальных сетях, комментарии, геокоординаты, файлы и т.д.

Работает пока нестабильно, но потенциал виден уже сейчас-огромный!

Как то подутих хайп вокруг нового функционала windows под названием Recall. Вещь спорная в качестве встроенного функционала операционной системы для всех и каждого, но очень интересная в плане использования для анализа и фиксации действий на компьютере. Тем более на этом концепте уже начали строиться различные сторонние проекты.

Сегодня хотел подсветить еще один:
Screenpipe

Ппосле установки, он начинает постоянно записывать происходящее на экране и звук сопровождающий все это (видео, конференци и тд.). После чего пропускает это через нейронку Ollama для распознавания и контекстного поиска. При необходимости можно добавить своих локальных нейросетей, чтобы было все локально в пределах собственного компьютера. В наличии достаточно удобный интерфейс, что радует.

Ну и авторы как всегда много обещают про безопасность и приватность, но тут уже вопрос доверия.

Ребята с канала написали очень не дурную статью по определению местоположения, основываясь на различных источниках данных.

Social Network Visualizer

Визуализатор графа взаимосвязей. Достойный продолжатель дела Gephi и Maltego, подкупающий своей простотой и разнообразием типов визуализации графов.

В качестве входных данных понимает форматы GraphML, GraphViz, Adjacency, EdgeList, GML, Pajek, UCINET и тому подобных. "Из коробки" может краулить вебсайты на предмет взаимосвязей по ссылкам.

Exadel CompreFace

Докер контейнер представляющий из себя систему распознавания лиц на фото и видео. Может работать сам по себе через симпатичный дашборд, а может и через REST API встраивать свой функционал в любой ваш проект.

Из возможностей:
- Распознавание лиц
- Верификация лиц
- Распознавание пола и возраста
- Распознавание положения головы и направления движения.

Великолепный пример того, как надо делать отчет по OSINT-исследованию.

Формирование отчета, обоснования выводов, ссылки на источники, визуализация и все остальное - на высоте. А методологически, задали очень высокую планку (субъективно) для российского osint-комьюнити, в плане представления результатов исследований.

Парни и девчонки из "Северной Пальмиры" большие молодцы со всех сторон.

10 октября 2024 года прошла конференция OSINT Live 2024, где мир открытых источников информации собрался вместе. Это было не просто мероприятие, а яркая площадка для обмена идеями и опытом. Эксперты делились полезными инструментами и подходами, которые могут изменить взгляд на расследования и безопасность. А вот и записи докладов:

— Uncovering Digital Footprints
by Nathaniel Fried
Доклад о том, как манипуляции с номерами телефонов и адресами электронной почты могут помочь в масштабном обнаружении аккаунтов. Автор делится секретами селекторного обогащения — ключевого метода для выявления скрытых цифровых следов. Это выступление особенно полезно для сотрудников правоохранительных органов и специалистов по безопасности.

— Building an Effective Research Environment
by Gary Ruddell:
Соучредитель Switchfire, рассказал о своем опыте в создании мощного набора инструментов OSINT, охватывающим военную разведку и корпоративную безопасность. Спикер продемонстрировал, как выйти за пределы стандартных инструментов браузера и использовать ресурсы GitHub в виртуальных машинах.

— Leveraging AI
by Daniel Heinen:
Из выступления можно узнать, как ИИ помогает упростить геолокацию в ваших расследованиях. В ходе этой сессии было продемонстрировано, что отслеживание ключевых мест может быть простым и эффективным.

— Methods for Maintaining OSINT Research Accounts
by Jessica Smith:
В этом докладе говорилось о важности поддержания своих учетных записей для OSINT-исследований в активном и трудноотслеживаемом состоянии. Автор поделилась полезными советами по защите аккаунтов и доступу к ключевым источникам информации.

— Putting the INT back in OSINT
by Micah Clark:
OSINT — это не только сбор данных, но и применение аналитических методов для их осмысления. Чтобы узнать, как когнитивная наука может улучшить ваши исследования и помочь в получении более точных разведывательных оценок смотрите запись.

#Intelligence_event #remote

Отличный перевод статьи про фактчекинг и верификацию от ребят с канала Social engineering.

Онлайн сервисы для исследования IP адресов:

🖥 IPQualityScore
- Проводит оценку ip адреса относительно участия в мошеннических действий.
- Обнаруживает VPN и Proxy
- Отслеживает смену устройств на определенном адресе
- Сканирует на наличие вредоносного содержимого
- Проверяет ссылки на наличие редиректов либо вредоносной нагрузки

🖥 IPInfo
- Имеет очень простой и удобный интерфейс.
- Определение геолокации
- Поиск диапазона IP
- Детекция ip и VPN

🖥 Maxmind
- Особое внимание на точное определение геопозиции ip адреса используя GeoIP2
- Фрод-детектор
- VPN и Proxy детектор

🖥 VirusTotal
- Особое внимание уделяется репутации ip адреса и его присутствие в различной противоправной деятельности.
- Использует около 100 различных инструментов для детектирования и обзора активности исследуемых ip-адресов.

🖥 MxToolBox
- Особо внимание уделяется ip адресам привязанных к определенному домену.
- Отличный инструмент для массового поиска по доменам

🖥 IPVoid
- Большое количество инструментов для исследование ip адресов
- Внимание на рассылку спама и вредоносов.

Когда мы говорим про программы для визуализации графов связей, конечно же вспоминается Maltego - самый узнаваемый и популярный инструмент для достижения наших целей. Куча возможностей по обработке данных, парсеров, плагинов вкупе с поддержкой сообщества, сделали его неким стандартом де-факто в области построения графов. Но давайте посмотрим на альтернативы из того бесплатного, что есть на рынке подобных решений. Я старался подобрать их таким образом, чтобы это были полностью независимые решения - без использования внешних учетных записей и сервисов, ну по крайне мере в своей базе.

💻 Gephi - opеn source и мультиплатформенный инструмент для построения графиков взаимосвязей. На мой взгляд, имеет более простой интерфейс и проще в освоение чем maltego. Родная библиотека расширений больше имеет научную направленность, хотя когда это нам мешало проецировать алгоритмику в нужном направление :)

💻 Social Network Visualizer - опять open source и опять кросс-платформенный. Основной упор сделан на различные типы анализа и их визуализацию. Имеет встроенный веб-краулер, для анализа ссылок на сайте, прямо после установки. Ну и при всей своей простоте, может работать одновременно с несколькими социальными графами, делая их много реляционными.

💻 Orange Data Mining - мой любимец в этой подборке. Позволяет делать массу различных вещей связанных с анализом данных помимо построения графов. Причем делать это даже в динамике. Имеет большой набор расширений для различных задач, но самое приятное тут другое - при помощи встроенного визуального языка программирования позволяет вам буквально в стиле кубиков LEGO без единой строчки кода собрать свой собственный плагин.

💻 Cytoscape - визуализатор связей по концепции ближе всех приблизился к Maltego. При этом изначально был заточен под биологические исследования, но со временем разросся и превратился в целую платформу с собственным AppStore с расширением под различные аналитические задачи.

ПОИСК ПО USERNAME. ИНСТРУМЕНТАРИЙ:

💻 Snoop Project

🔎 https://github.com/snooppr/snoop/releases
Инструмент поиска по Username в различных сервисах и социальных сетях В более чем 4000 источниках.

🖥 Сервисы поиска по Username

🔎 https://whatsmyname.app/
🔎 https://www.idcrawl.com/username-search
Поиск социальных сервисов по Username

🔎 https://seintpl.github.io/NAMINT/
Сервис по подбору различных вариаций Username и имён.

🔦 Dorks

📑inurl:username
если имя пользователя присутствует в ссылке (например станица в соц.сервисах)

📑Intext:username
если имя пользователя может присутствовать на странице (например в статье или форуме)

ПОИСК ПО ФОТО. ИНСТРУМЕНТАРИЙ:

Поисковики:
🔎images.google.com/
🔎www.bing.com/images
🔎yandex.ru/images/
🔎image.baidu.com/
🔎www.alamy.com/
🔎tineye.com/

Улучшение изображений:
Сервис для upscaling
🖥upscayl.org/
Программа для устранения размытия на фото
💻smartdeblur.net/

Выявление монтажа:
Сервис для выявления фотомонтажа
🖥https://29a.ch/photo-forensics/#forensicmagnifier

Просмотр метаданных:
💻https://hvdwolf.github.io/jExifToolGUI/
💻https://www.logipole.com/metadata++-en.htm
💻https://exifviewers.com/

Идентификация людей:
🖥facecheck.id
🖥pimeyes.com
🖥search4faces.com

Выявление стеганографии:
Выявление и маркировка изображений
«желтыми точками:
💻https://github.com/dfd-tud/deda