# www.itdaan.com

**Repository Path**: Alive/www.itdaan.com

## Basic Information

- **Project Name**: www.itdaan.com
- **Description**: IT答案网是一个提供给广大IT开发者的垂直搜索引擎，它收集国内外大量的IT解决方案。使用的技术：SpringMVC+Sorl+Mysql+Shiro等等。
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: http://www.itdaan.com
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 11
- **Created**: 2016-11-23
- **Last Updated**: 2020-12-19

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

#www.itdaan.com
这是一个提供给广大IT开发者的专业知识库，它使用定制化的爬虫来爬取IT博客以及问答资料，进行索引并提供全文搜索功能。

##网站所使用技术
1，前端：bootstrap，jquery
2，后端：springmvc，mybatis,shiro
3，索引：solr
4，缓存：EhCache

###v20160217
1，完成评论审核后，重建索引的功能；
2，初始化的功能放到了SetUpCrawl定时任务里；
3，评论功能：评论成功后刷新页面

###v20160324
修复 评论列表  内容ID链接可以直接链接到内容了；
内容页面跳转：如果User-Agent为Java 1.6的话，直接访问该地址；如果User-Agent中没有java关键词，则跳转到静态页面。

###v20161113
增加收藏功能以及优化首页和搜索页面
将大文本存储到solr中，这样节省数据库空间，也可以使Mysql查询速度变快！最主要的是能省钱啦，阿里云磁盘买了200G，平均3万条记录一个G存储！

##待完成任务
###v20161113
####1、需要完善多线程爬虫以及后台
其实开始，每篇文章都生成了HTMLIO静态化，每个大文本都存储在mysql数据库中，并且按区间分库了。后来数据库爆增达到450万数据了，这个时候，我买了200G的空来来存储，可恶的Money！不得不改变架构，唯一的可行性就是借助Solr来存储大文本。于是，重新建立一个Core，专门用于存储大文本，这样非常省空间，但是最终Solr是否能支撑多高的并发仍然是未知数。
####接下来是完善后台，将定时任务爬虫管理起来，并改变存储方式，将按照规则爬取的大文本存储到Solr。
####2、需要完善前台，本站用户的后台
由于UI主要借助于bootstrap，所以有时候调整一个页面需要一天，甚至更长。