主题：问一个搜索引擎的问题 -- 大明湖
我的硬盘太小，所以没有保存cache,所有的html和图片一旦处理完毕就都delete掉了。数据库中只保留了index信息。
那天偶然想到这个问题，就是因为目前还没有出现具有这样功能的搜索引擎，起码，俺不知道。
既然算法不成问题，硬件也不成问题，困难究竟是什么？
虽然是现在就能办到的方法, 但搜的还是文字编码的附属数据, 离 "如搜寻文章般的搜图" 还是有段不小的距离吧?
Anything I can help you please don’t hesitate to let me know.
因为是空闲时间做，一直不能完全投入，现在主要有以下几个问题需要解决
1。mysql总是crash,按说俺们的数据库也并不大，最大的一个table也就10G,（网上说mysql需要到100G才会出现状况）
2。web grabber不能完整的收集页面。
如果有朋友有志共同做这个方面的工作，我的email信箱[email protected].
兄弟我正在做相关的课题，所以知道一点。基于内容的图像检索Content-based Image Retrieval(CBIR)的基本原理就是把图像用各种能量化的指标表示出来，比如颜色，纹理，形状等等，然后用一个或一组向量表示。这样你要找某个图像时，就可以提交你要找的图像的相关指标，计算机就可以在数据库里查找相似的图像了。
不过现在的所谓CBIR都不表现不如人意。这倒不是因为现在的计算机速度不行，而是我们还没找到比较好的表示比较图像的方法。上面说的方法都是比较低层次的方法，和图像的"语义"还有相当大的距离，这就是所谓的semantic gap。目前计算机视觉的算法还远没有达到理解图像的地步。所以刚开始的时候大家觉得CBIR只是文本检索的一个延伸，后来越做越发现不好做了。虽然到现在也没作出真正的CBIR，不过在研究这个题目的过程中，到是促进了模式识别，机器学习等相关领域的发展，到也是赛翁失马，焉知飞福，呵呵。
俺认为至少5-10年内不会出现基于web的，面向大众提供以图象作为搜索条件来搜索内容的引擎。
无法想象一家商业公司会投入巨资去做这种东西的商业运行。不是技术问题，而是没有这么做的动力。若谁能说服拉瑞他们，告诉他们这玩意里面有巨大的市场潜力，那么，嘿嘿。。。
问题是需求在哪里？市场有多大？
俺认为搞这个东西那是投入产出比严重失衡。
上面已经提到google这样的巨头，连图象的上下文的搜索都还没有投入实际应用，而这种需求是google改善他的图象搜索的重要一步。就是说，现行的以文字搜图片的功能都还没有完善起来，那么以图片搜文字或图片的功能就肯定谈不上，而且有多少人会使用这个功能呢？我认为一点也不乐观。
假定需要使用文字搜图片的用户是100个，再假定需要使用图片搜图片或文字的用户是10个。实现后者的技术要稍难一些，那就是说投入要多一些，就算是同样的投入，那么投入1万收获1百跟投入1万收入10元之间，你作为商业公司的主管，会不会选择投入后者？
俺以为俺的假定中10%的用户比例那是太高了，没做过调查，但我认为实际不会超过1%。
会有一些感兴趣的个人跟团体（例如本河里的qwert01）去做这样的事情，但这种的资金、影响力有限，大家能听说的机会也不多。
有钱的如google这样的公司会在实验室搞这样的技术，但花10万美圆搞技术研究、做个模型跟花1亿美圆搞个商业运做的大系统之间显然是两回事。
另外，我想说明一下，专业领域内以图象搜图象的技术发展得是很快的。例如军事上地标定位（例如那种巡航导弹用电视/红外/热成像摄像头自行制导的技术）、指纹/虹膜对比技术（输入一枚指纹，一秒内从上千万的指纹库中找到对应的指纹），等等等等。。。但这些技术有其特定的应用范围，而且强调的是精确；这跟Ineternet上面向广大用户的搜索引擎的目标是不一样的。
只有等到能稍微看到那么一点市场潜力的情况下，楼主的要求才可能变成现实。
本帖一共被 1 帖 引用 (帖内工具实现)
mysql出状况要到TB级以后了。但GB级以上的table建议用innoDB类型，myISAM显然会出事的。
静态的image或page可以参考头信息里的chunked size，判断是否下载完毕。
但对没写size的动态page或image没有啥好法子，因为大多数人的page都是瞎写的，毫无语法限制
。你没法子从页面本身判断是否到尾部了（除非你针对特定的一批网页设定了尾部标志）。若是自己能写到TCP/IP协议这一级，不用封装的sock模块，大约会好办。
不过说实话，不是俺泼冷水，您这个发展方向俺还真是看不出什么大的价值来。
不会这样的吧？吓人。再好的机子也受不了这个。
反正俺很多时候还是需要的
而且当他出现的时候，说不定就会有更多的用户了。在google之前，谁可以想象能够发展到今天的地步？