Odoo Community
Odoo Enterprise
Viindoo Cloud
Crawl your website: status codes, links, images, changes - and a blacklist
Each website URL is fetched (no redirects followed), its content, text, type and response time stored as a crawl, links and images parsed with BeautifulSoup and checked, child URLs created, changes detected, broken children counted; a cron crawls periodically, sitemap URLs are generated, old crawls removed, and a blacklist keeps login or private pages out.
Viin SEM - Crawler (technical name viin_sem_crawler) is an Odoo 17.0 app for Odoo Community and Odoo Enterprise and Viindoo Cloud, built for seo specialist, webmaster.
At a Glance
The facts of Viin SEM - Crawler, version 0.1.4, in one place. Published by Viindoo.
Technical name
viin_sem_crawler
Odoo version
17.0 (Odoo Community, Odoo Enterprise, Viindoo Cloud)
Adds
6 new models, 7 extended models, 2 scheduled actions, 2 settings
Best for
SEO specialist; Webmaster
Not for
Redirects are not followed.
Key features
Fetch with status, type, response time, Links and images parsed and checked, Child URLs created, Change detection between crawls, Blacklist with reason, Automatic crawl and sitemap cron, Crawl retention per website
How It Works
Enable automatic crawl on the website or press Crawl on a URL; review crawls and invalid children.
1
A URL
Status 200, crawls, response time.
2
Links
Internal, external, status.
3
Crawls
Date, status, links, images.
4
A crawl
Content type, text.
5
Blacklist
Login and portal home.
6
URLs
200 and 404 side by side.
7
Settings
Automatic crawl, retention.
What You Get
Fetch with status, type, response time
Links and images parsed and checked
Change detection between crawls
Automatic crawl and sitemap cron
Crawl retention per website
What This App Does Not Do
Read this before you buy. Everything below is something the app deliberately leaves to another app or to you.
Redirects are not followed.
A 3xx is recorded as such.
Only text and image content types are parsed.
Others are stored.
Crawling runs from the Odoo server.
It must reach the website.
Works Well With
Apps from the same stack, built to fit this one:
Who Should Use Viin SEM - Crawler?
SEO specialist
/en/shop answers 404 - seen the same day.
Webmaster
Login pages blacklisted, never crawled.
Frequently Asked Questions
What does Viin SEM - Crawler do?
Each website URL is fetched (no redirects followed), its content, text, type and response time stored as a crawl, links and images parsed with BeautifulSoup and checked, child URLs created, changes detected, broken children counted; a cron crawls periodically, sitemap URLs are generated, old crawls removed, and a blacklist keeps login or private pages out.
What does Viin SEM - Crawler not do?
Redirects are not followed. A 3xx is recorded as such. Only text and image content types are parsed. Others are stored. Crawling runs from the Odoo server. It must reach the website.
Who is Viin SEM - Crawler for?
SEO specialist: /en/shop answers 404 - seen the same day. Webmaster: Login pages blacklisted, never crawled.
Which Odoo version and editions does it support?
Odoo 17.0 - Odoo Community, Odoo Enterprise, Viindoo Cloud. Upgrades to a newer Odoo series are a separate purchase for that series.
What does it depend on?
It installs on top of: viin_sem. Odoo installs them with it.
How do I set it up?
Enable automatic crawl on the website or press Crawl on a URL; review crawls and invalid children.
What works well with it?
Viin SEM (viin_sem): Required. SEM Helpdesk (viin_sem_helpdesk): Tickets from broken links.
Can I try it before buying?
Yes - the Live Preview button at the top of this page opens the module's own screen on a working database.
How do I get support?
Write to apps.support@viindoo.com with your Odoo version and the technical name viin_sem_crawler; pre-sales questions go to sales@viindoo.com.
Need help with Viin SEM - Crawler?
For questions, implementation support or a custom feature, contact Viindoo.
Upgrades to a newer Odoo series are a separate purchase for that series.
All Viindoo apps: apps.odoo.com/apps/modules/browse?author=Viindoo
About Viindoo. Viindoo builds and maintains more than 1,000 apps on the Odoo App Store for the Community and Enterprise editions and runs them on Viindoo Cloud. A purchase of Viin SEM - Crawler covers the 17.0 series: bug fixes on the module reach you through the store, questions go to apps.support@viindoo.com with the technical name viin_sem_crawler, and moving to a newer Odoo series is a separate purchase for that series. Source code is delivered with the module and stays yours to read and adapt.
Technical Requirement
Editions: Odoo Community, Odoo Enterprise, Viindoo Cloud
Changes log
0.1.4 - Latest on the 17.0 line
- Aligned with the 17.0 models and views.
Phần mềm này và các tệp liên kết ("Phần mềm")
được sử dụng (chạy, tuỳ biến, chạy sau khi được tuỳ biến)
chỉ khi bạn mua được giấy phép có hiệu lực từ tác giả,
điển hình như qua các Ứng dụng Odoo, hoặc trong trường hợp
bạn nhận được thoả thuận bằng văn bản từ tác giả của Phần mềm (chi tiết tại tệp COPYRIGHT).
Bạn có thể phát triển các phân hệ Odoo có sử dụng Phần mềm như một Thư viện (thường là phụ thuộc vào, nhập vào và sử dụng nguồn của nó)
nhưng không sao chéo bất kỳ mã nguồn hay tài liệu nào thuộc Phần mềm. Bạn có thể phân phối những phân hệ này theo giấy phép
mà bạn lựa chọn, miễn sao nội dung giấy phép đó tương tích với điều khoản của Giấy phép Phần mềm Độc quyền Odoo
(ví dụ: LGPL, MIT hay bất kỳ loại giấy phép phần mềm độc quyền nào tương tự vậy).
Nghiêm cấm phát hành, phân phối, cấp phép lại hoặc bán bản sao của Phần mềm hoặc
bản sao
Phần mềm đã được sửa đổi.
Thông báo bản quyền và chấp thuận nêu trên buộc phải được bao gồm trong tất cả các bản sao hoặc các phần quan trọng của Phần mềm.
PHẦN MỀM ĐƯỢC CUNG CẤP "NGUYÊN TRẠNG", KHÔNG BẢO ĐẢM DƯỚI BẤT KỲ HÌNH THỨC NÀO, ĐƯỢC THỂ HIỆN RÕ RÀNG HOẶC NGỤ Ý, KHÔNG GIỚI HẠN
ĐẢM BẢO VỀ CÁC BẢO ĐẢM NGỤ Ý VỀ KHẢ NĂNG THƯƠNG MẠI, PHÙ HỢP VỚI MỤC ĐÍCH CỤ THỂ VÀ KHÔNG VI PHẠM.
TRONG MỌI TRƯỜNG HỢP SẼ KHÔNG CÓ TÁC GIẢ HOẶC CHỦ SỞ HỮU BẢN QUYỀN NÀO CHỊU TRÁCH NHIỆM VỀ BẤT KỲ KHIẾU NẠI,
THIỆT HẠI HOẶC TRÁCH NHIỆM PHÁP LÝ KHÁC NÀO TRONG PHẠM VI HỢP ĐỒNG, CÁC THIỆT HẠI HOẶC CÁCH KHÁC, PHÁT SINH TỪ, NGOÀI HOẶC
CÓ LIÊN KẾT VỚI PHẦN MỀM HOẶC VIỆC SỬ DỤNG HOẶC KINH DOANH KHÁC TẠI PHẦN MỀM.