胖小天

最近看到很多爬虫到各种各样数据进行分析的文章，于是自己也想小试牛刀一下。最后决定尝试爬一下大麦网的数据。 数据获取决定了要爬去的目标，就开始对目标数据获取进行分析，通过chrome抓包分析接口，发现可以直接通过接口获取售卖信息的json数据，这样就可以省去对html的解析工作。顺便尝试一下python3的urllib3来获取数据。 12345678910import urllib3pool = urllib3.PoolManager()headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36Name', 'Referer': base_page}response = pool.request('POST',url,param,hea ...

AQS源码分析AbstractQueuedSynchronizer类结构分析 其中AbstractOwnaleSynchronizer提供了当前资源拥有者相关的操作，AbatractQueuedSynchronizer（下文中简称为AQS）这个抽象类中主要提供了对互斥锁和共享锁相关操作提供了基础功能的实现，以及提供了对于不同场景下的加锁和释放锁的方法定义。 而AQS这个抽象类中主要为我们提供了对于CLH队列的一系列操作，包括无法获得请求资源时的如队列操作和资源释放时怎么通知等待队列中的节点获取资源的操作。这样使得我们在需要自己实现锁功能时，只要需要专注于具体的加锁和释放锁操作。下面来看一下AQS中核心的数据结构CLH队列。 CLH队列上面基础数据结构为Node，Node为一个双向链表结构。CLH中节点数据结实现如下： 12345678910111213141516171819202122232425262728293031323334353637383940414243static final class Node { static final Node SHARE ...

2018学习读书记录读书单技术书籍 Java并发编程实战（计划） Java并发编程艺术（正在阅读） 深入理解java虚拟机（计划） hadoop权威指南（计划） Python网络数据采集（已读） 其他书籍 高效能阅读 （finish 2月21） 如何有效阅读（已读） 读书笔记

前端获取实时数据探索背景介绍最近在工作中，有个需求是前端需要获取实时展示最新的n条报警数据。使用http的请求响应，一问一答方式获取数据时，就出现可能部分数据获取不到的问题，然后在网上寻找和咨询老同事相关解决方案的时候，发现有使用DWR的方式进行向前端推送的解决方案， 解决思路1.ajax订阅ActiveMQajax订阅activeMQ获取实时数据的流程如下 使用ajax直接获取ActiveMQ topic中的数据，可以在activeMQ 官网中，找到Demo。需要在相应的页面中引入amq.js,amq_jquery_adapter.js以及jquery-1.4.2.min.js三个js文件，并且在后端添加相应的servlet配置。 demo中给出的配置如下： 12345678910111213141516<servlet> <servlet-name>AjaxServlet</servlet-name> <servlet-class>org.apache.activemq.web.AjaxServlet</servlet-cl ...

Python 安装笔记1.下载源码包 wget https://www.python.org/ftp/python/3.6.3/Python-3.6.3.tgz 如果没有wget则可通过 yum install wget 安装wget 2准备工作检查当前linux系统中的ssl相关.so是否齐全： rpm -aq|grep openssl 齐全情况应该如下： 12openssl-devel-1.0.2k-8.el7.armv7hlopenssl-libs-1.0.2k-8.el7.armv7hl 如果缺少则可通过 yum install openssl openssl-devel 进行补全安装 3.编译安装 ./configure –prefix=/usr/local/python3 make && make install 就完成了基本的python源码安装，当下版本的python源码安装已经将pip集成在源码中，不需要在单独安装pip，就可以直接使用pip进行模块安装了 这里没有进行环境变量 ...