發表文章

目前顯示的是 7月, 2016的文章

[Web] exchange rate crawler

<註:用 c shell script 爬已不管用 已經有用 python 重爬 點此 > 最近架了主機,也下了python的爬蟲工具玩了一下,恩,我覺得這是一塊蠻值得鑽研的地方。 老爸之前就跟我說過,公司需要銀行匯率的檔案,之前同事寫的java執行檔,在網頁改格式後就不管用了,但這小工具,一直沒人寫,所以一直用手工。 http://rate.bot.com.tw/Pages/Static/UIP003.zh-TW.htm ->就是這裡 適逢我正在玩scrapy,就用了工具爬了一下,大概長這樣 Item: spider: pipline: 爬是爬了,但老爸公司不知有沒有裝python和爬蟲工具,於是我就想說,既然網頁還蠻簡單的,何不用script和C爬爬就好? script: C source file named fetch.c: 但沒想到不過一天,wget就抓不到東西,估計是被擋了,瀏覽器和curl還可正常運作。 研究了下,應該是用User agent擋的,沒關係,加一下參數,冒充一下別人就好了。 wget -U Mozilla/5.0 -O bank_rate.html $URL 2>/dev/null (curl 的話 是用 -A) 註 wget 的 -O 大寫另存檔案 , curl 則是 -o 小寫另存喔! 這樣就扮成了小狐狸了,另外其他瀏覽器也可以裝喔,不論有沒有安裝都可以裝,因為這只是給server一個假名罷了!

[CentOS7] install PHPMailer & prob

環境 CentOS 7 PHPMailer 載點 https://github.com/Synchro/PHPMailer  我下指令 git clone https://github.com/Synchro/PHPMailer.git 取得 Mailer 範例: PHPMailer範例 <?php include(“PHPMailerAutoload.php"); //匯入PHPMailer類別 注意 此php要和class等檔案放同層目錄 $mail= new PHPMailer(); //建立新物件 $mail->IsSMTP(); //設定使用SMTP方式寄信 $mail->SMTPAuth = true; //設定SMTP需要驗證 $mail->SMTPSecure = “ssl"; // Gmail的SMTP主機需要使用SSL連線 $mail->Host = “smtp.gmail.com"; //Gamil的SMTP主機 $mail->Port = 465; //Gamil的SMTP主機的SMTP埠位為465埠。 $mail->CharSet = “utf-8″; //設定郵件編碼 $mail->Username = “xxx@gmail.com"; //設定google eamil帳號 $mail->Password = “*********"; //設定google eamil密碼 $mail->From = “xxx@gmail.com"; //設定寄件者信箱 $mail->FromName = “測試人員"; //設定寄件者姓名 $mail->Subject = “PHPMailer 測試信件"; //設定郵件標題 $mail->Body = “這是一封測試信件! “; //設定郵件內容 $mail->IsHTML(true); //設定郵件內容為HTML $mail->AddAddress(“xxx@xxx.xxx.xxx", “"); //設定收件者郵件及名稱 if(!$mail->Send()) { ec

[CentOS7] 安裝python scrapy庫

refer and revise from  https://clasense4.wordpress.com/2015/11/25/how-to-install-scrapy-on-centos-7/   please sudo all automatically... #set swap sudo dd if=/dev/zero of=/swapfile count=4096 bs=1MiB #instead of original command : sudo fallocate -l 4G /swapfile , 'cause it didn't work on my CentOS ... sudo chmod 600 /swapfile sudo mkswap /swapfile sudo swapon /swapfile echo "/swapfile swap swap sw 0 0" >> /etc/fstab echo "vm.swappiness = 10" >>/etc/sysctl.conf echo "vm.vfs_cache_pressure = 50" >> /etc/sysctl.conf #install scrapy sudo rpm -Uvh http://dl.fedoraproject.org/pub/epel/7/x86_64/e/epel-release-7-7.noarch.rpm #pay attention on version yum update -y yum install python-pip -y yum install python-devel -y yum install gcc gcc-devel -y yum install libxml2 libxml2-devel -y yum install libxslt libxslt-devel -y yum install openssl openssl-devel -y yum install libffi libffi-devel -y pip install --upgrade pip CFLAGS="-O0" pi

重灌/還原 x D槽 x 權限

win10 還原蠻方便的,讓他跑一跑就好了 結果備份好的D槽使用者變成unknown 寫入檔案的w權限就不見了 右鍵進"內容->安全性" ...我動不下手...動了好像沒效果... 最後隨便試試,以administrator權限執行cygwin 下個chown chgrp chmod 回檔案總管隨便點個幾下 ..."D:\ 資源回收桶已毀損"... 難道我不照windows的正常管道動系統結果爆了?(汗 還好檔案依舊可以讀,還變成可以寫呢... google了一下,訊息的意思是 "D:\刪東西不會進資源回收桶,會直接不見..." 挖 跟 rm 一樣了呢 然後我照資料在cmd下了幾道指令後一切就恢復正常(?) 以後還是不要用其他軟體亂搞好了(逃